技术深度解析
DeepSeek v4的架构是对长期主导领域的密集Transformer模型的彻底背离。其核心是一个自适应路由混合专家（MoE）系统。标准的MoE模型，如Mixtral 8x7B，使用固定的top-k路由机制——每个token被发送到预定数量的专家（例如，8个中的2个）。这虽然高效，但僵化：像“法国首都是哪里？”这样的简单查询，与复杂的多步推理问题消耗相同的算力。
DeepSeek v4引入了一种动态路由策略，学习根据输入估计的复杂度分配计算资源。该模型包含一个轻量级的复杂度预测器——一个小型神经网络，用于估计准确回答查询所需的FLOPs数量。基于这一预测，路由器选择可变数量的专家，范围从1个（用于琐碎查询）到16个（用于复杂推理）。这不是简单的阈值；路由器通过强化学习目标进行端到端训练，在准确性与计算预算之间取得平衡。
从工程角度来看，这需要对MoE层进行精心重新设计。标准的MoE实现（例如GitHub上拥有超过3000颗星的`moe`库）假设固定的top-k路由，这允许高效的批处理计算。DeepSeek v4的可变路由引入了负载不平衡挑战——某些专家可能被大量使用，而其他专家则闲置。为了解决这个问题，团队开发了一个动态专家负载均衡器，实时监控专家利用率，并在专家之间重新分配token以维持近乎均匀的负载，防止热点出现。这让人联想到`FastMoE`仓库（5000+颗星）中使用的技术，但针对可变路由进行了适配。
基准测试结果证实了效率提升：
| 模型 | 参数（活跃） | MMLU得分 | HumanEval Pass@1 | 每百万token推理成本 |
|---|---|---|---|---|
| GPT-4o | ~200B（估计） | 88.7 | 90.2% | $5.00 |
| Claude 3.5 Opus | — | 88.3 | 92.0% | $3.00 |
| DeepSeek v4 | 1.2T（平均20B活跃） | 88.5 | 91.1% | $1.80 |
| Llama 3 70B | 70B（全部） | 82.0 | 80.5% | $0.90 |
数据要点： DeepSeek v4在关键基准测试中匹配或超越了GPT-4o和Claude 3.5 Opus的性能，同时平均仅使用20B活跃参数——约为GPT-4o估计活跃参数的10%。每token成本比GPT-4o低64%，比Claude 3.5 Opus低40%。这是一项巨大的效率改进，挑战了“前沿性能需要前沿算力”的假设。
关键在于，智能并非在所有查询中均匀分布。DeepSeek v4通过将算力分配到最需要的地方来利用这一点。对于简单查询，它使用的算力仅为密集模型的一小部分；对于困难查询，它匹配或超越密集模型的性能。这与密集Transformer的“一个模型，一个计算预算”方法有着根本不同的理念。
关键参与者与案例研究
自适应路由方法使DeepSeek与AI军备竞赛中的现有巨头直接竞争。OpenAI一直在不断扩大其模型规模——从GPT-3（175B参数）到GPT-4（估计1.7T参数，采用MoE）再到GPT-4o——优先考虑原始能力而非效率。Google的Gemini Ultra同样依赖大规模。Anthropic的Claude 3.5 Opus虽然比GPT-4更高效，但仍使用约1T参数的密集架构。
DeepSeek的策略反映了生态系统中更广泛的转变。Mistral AI的Mixtral 8x7B证明了MoE可以以较低成本提供强大性能，但它使用了固定路由方案。DeepSeek v4通过使路由自适应，将这一理念推向了更远。另一个值得注意的参与者是Microsoft，它一直在试验ZeRO++和其他内存高效训练技术，但尚未在生产模型中部署自适应路由。
竞争策略对比：
| 公司 | 模型 | 架构 | 活跃参数（平均） | 推理成本（每百万token） | 关键创新 |
|---|---|---|---|---|---|
| OpenAI | GPT-4o | 密集 + MoE（固定路由） | ~200B | $5.00 | 多模态、实时 |
| Google | Gemini Ultra | 密集MoE（固定路由） | ~150B（估计） | $4.50（估计） | 原生多模态 |
| Anthropic | Claude 3.5 Opus | 密集 | ~1T（全部） | $3.00 | 宪法AI |
| Mistral | Mixtral 8x22B | MoE（固定top-2） | 39B | $0.60 | 开源权重、高效 |
| DeepSeek | DeepSeek v4 | 自适应MoE | 20B（平均） | $1.80 | 动态计算分配 |
数据要点： DeepSeek v4的活跃参数数量比竞争对手低一个数量级，却实现了可比的基准测试分数。这表明行业对总参数数量的关注是误导性的——真正重要的是这些参数的使用效率。DeepSeek的方法可能迫使竞争对手要么匹配其效率，要么为其更高的成本提供合理解释。