技术深度解析
缩放定律（Scaling Law）最早由OpenAI的研究人员在2020年正式提出，其核心观点是：模型性能会随着参数、数据和算力的增加而可预测地提升。但这条定律隐藏着一个假设——所有参数都同样有用。而在实践中，随着模型规模增长，相当一部分参数会变得“懒惰”——它们对最终输出的贡献微乎其微。这正是参数膨胀的核心问题。
收益递减曲线
来自多个实验室的经验证据表明，参数量与基准性能之间的关系是对数级的，而非线性的。例如，将参数量从70亿翻倍至130亿，在MMLU基准上可能带来3%-5%的提升；但从700亿翻倍至1400亿，提升往往不足1%。下表展示了这一趋势在多个广泛使用的开源模型中的表现：
| 模型 | 参数量 | MMLU得分（5-shot） | 活跃参数（MoE） | 训练算力（FLOPs） |
|---|---|---|---|---|
| LLaMA 2 7B | 7B | 45.3 | 7B | 1.7e22 |
| LLaMA 2 13B | 13B | 54.8 | 13B | 3.2e22 |
| LLaMA 2 70B | 70B | 68.9 | 70B | 1.7e23 |
| Mixtral 8x7B | 46.9B | 70.6 | 12.9B | 1.8e23 |
| DeepSeek-V2 | 236B | 78.5 | 21B | 2.5e23 |
| GPT-4（估算） | ~1.8T | 86.4 | ~280B（估算） | 2.1e25 |
数据要点： Mixtral 8x7B仅凭129亿活跃参数，就在MMLU上超越了LLaMA 2 70B，且每个token消耗的算力远低于后者。DeepSeek-V2仅用210亿活跃参数就达到了GPT-4级别的性能。这证明，驱动智能的是架构效率，而非原始规模。
MoE架构详解
混合专家（MoE）模型将网络划分为多个“专家”子网络。一个经过学习的门控机制会将每个输入token仅路由到少数专家（通常为8个中的2个）。这意味着，虽然总参数量很大，但每次前向传播中激活的参数只是总量的一小部分。关键工程挑战在于负载均衡——确保所有专家被均匀使用，避免崩溃。最近的进展，如DeepSeek在其DeepSeek-V2论文中提出的“无辅助损失负载均衡”以及Google的“软MoE”，已使大规模训练变得稳定。
稀疏注意力与动态计算
除MoE外，其他效率技术也正获得关注。稀疏注意力机制，例如Mamba架构（一种替代Transformer的状态空间模型）中使用的机制，将注意力的二次复杂度降低为线性。Mamba在GitHub上的仓库已获得超过15000颗星，并正被积极集成到生产系统中。类似地，动态计算方法如“早退”（early exit）允许模型在置信度足够高时停止处理某个token，从而在简单输入上节省算力。
要点： 技术界正趋于共识：未来不是 monolithic 密集模型，而是模块化、稀疏激活的系统，它们根据输入复杂度动态分配算力。
关键玩家与案例研究
Mistral AI 一直是效率优先于规模的最响亮倡导者。其2023年12月发布的Mixtral 8x7B模型证明，一个总参数469亿的MoE模型可以匹配甚至超越三倍于其规模的密集模型的性能。Mistral的策略是发布能在消费级硬件上运行的小型高效模型，从而实现本地部署和隐私保护AI。其最新模型Mistral Large 2延续了这一趋势，采用1230亿参数的MoE架构。
DeepSeek，一家中国AI实验室，通过DeepSeek-V2进一步推动了边界。该模型总参数2360亿，但活跃参数仅210亿。他们通过一种新颖的“多头潜在注意力”机制实现了这一点，该机制压缩了键值缓存，将内存带宽需求降低了80%。DeepSeek的开源版本已被广泛采用，模型在Hugging Face上发布首周下载量即超过5万次。
Google DeepMind 也在其Gemini模型中采用了MoE，尽管他们对具体架构的披露较少。其“Gemini 1.5 Pro”被广泛认为使用了混合专家设计，实现了100万token的上下文窗口，而算力并未按比例增加。
OpenAI 仍是一个异类。GPT-4被认为是一个庞大的MoE模型（总参数约1.8万亿，活跃参数2800亿）。然而，他们最近发布的GPT-4o mini模型——一个密集的80亿参数模型——表明，即使是OpenAI也在对冲风险：对于成本敏感的应用，较小的密集模型可能更实用。
| 公司 | 模型 | 总参数量 | 活跃参数 | 方法 | 关键创新 |
|---|---|---|---|---|---|
| Mistral AI | Mixtral 8x7B | 46.9B | 12.9B | MoE | 开源，可在消费级硬件上运行 |
| DeepSeek | DeepSeek-V2 | 236B | 21B | MoE + 潜在注意力 | KV缓存减少80% |
| Google DeepMind | Gemini 1.5 Pro | ~500B（估算） | ~60B（估算） | MoE | 100万token上下文窗口 |
| OpenAI | GPT-4 | ~1.8T | ~280B | MoE | 专有