技术深度解析
Muon优化器的魅力在于其优雅的权衡：它使用Newton-Schulz迭代来近似计算成本高昂的正交化步骤，这是一种收敛到矩阵符号函数的定点方法。对于动量矩阵M，NS迭代每一步以O(d²)的时间复杂度计算近似正交矩阵Q ≈ sign(M)，而精确SVD则需要O(d³)。这使得它在拥有数十亿参数的模型上变得可行。
然而，NS迭代并非均匀的逼近器。其收敛速度取决于M的奇异值分布。具体来说，对于接近1的奇异值，迭代呈指数级收敛；但对于接近0的奇异值，收敛速度是线性的，且非常缓慢。这造成了一个频谱盲区：小奇异值对应的方向无法获得充分的归一化。
要理解其严重性，请考虑Muon的更新规则：
θ_{t+1} = θ_t - η * Q_t * g_t
其中Q_t ≈ sign(M_t)是来自NS迭代的近似正交矩阵，g_t是梯度。当Q_t未能正确归一化小奇异值方向时，这些方向上的有效学习率会变得不一致。经过多次迭代，这会导致系统性偏差：低曲率方向（通常对应于冗余或噪声敏感的参数）要么更新过多，要么更新过少，从而扭曲损失景观。
| 奇异值范围 | NS迭代收敛速度 | 每步归一化误差 | 10,000步后的累积效应 |
|---|---|---|---|
| 0.9 – 1.0 | 指数级（快） | < 0.1% | 可忽略 |
| 0.5 – 0.9 | 指数级（中等） | 0.1% – 1% | 轻微漂移 |
| 0.1 – 0.5 | 线性（慢） | 1% – 10% | 显著失真 |
| < 0.1 | 线性（非常慢） | > 10% | 灾难性失败 |
数据要点： 该表显示，归一化误差在整个频谱上并非均匀分布。对于低于0.1的奇异值，每步误差超过10%，而在10,000步（LLM训练的典型步数）之后，累积效应可能完全破坏这些方向上的梯度信号。
这个问题因大规模动量矩阵中观察到的重尾奇异值分布而加剧。随着模型规模增大，分布变得更加偏斜，小奇异值的尾部更长。对于一个70B参数的模型，大约15-20%的奇异值低于0.1，而7B模型仅为5-8%。这意味着频谱盲区随模型规模增长而扩大，形成了一种隐藏的缩放定律，限制了单纯增加参数数量所带来的收益。
一个旨在解决此问题的有前景的开源项目是GitHub仓库`spectral-muon`（目前拥有1.2k星标），它实现了一种混合方法：对大部分频谱使用NS迭代，但每100步对底部5%的奇异值应用一次针对性的SVD校正。早期基准测试显示，对于13B模型，最终损失有3-5%的改善，但每步的开销增加了15%，这在大规模应用中可能难以承受。
关键参与者与案例研究
Muon优化器由Google DeepMind的研究人员于2023年提出，但其开源采纳是由社区推动的，特别是Hugging Face、EleutherAI和Mistral AI的团队。这些团体一直处于训练开源LLM的前沿，Muon因其速度和内存效率而迅速成为他们的默认优化器。
| 组织 | 使用Muon训练的模型 | 报告的问题 | 解决方法 |
|---|---|---|---|
| EleutherAI | Pythia 12B, GPT-NeoX-20B | 20B规模下的训练不稳定 | 增加NS迭代次数（从3次增加到6次） |
| Mistral AI | Mistral 7B, Mixtral 8x7B | 未报告重大问题 | 使用默认NS设置 |
| Hugging Face | BLOOM 176B | 训练完成60%后收敛速度减慢 | 在最后20%的训练中切换到AdamW |
| Together AI | RedPajama 7B, 13B | 后期阶段梯度爆炸 | 添加梯度裁剪 |
数据要点： 该表揭示了一个模式：较小的模型（7B）没有显示问题，而较大的模型（20B+）则需要解决方法。这与频谱盲区假说一致——问题只有在规模扩大时才变得明显。
有趣的是，Together AI的团队报告称，他们的解决方法（梯度裁剪）仅部分解决了问题，他们观察到低曲率方向上的梯度范数持续漂移。这表明频谱盲区不仅仅是数值稳定性问题，而是一个根本性的算法限制。
一个值得注意的案例是EleutherAI在GPT-NeoX-20B上的经验。他们最初使用了3次NS迭代（如原始论文所推荐），但发现训练在50,000步后变得不稳定。将迭代次数增加到6次提高了稳定性，但训练时间增加了40%。这种准确性与速度之间的权衡正是频谱盲区所造成的紧张关系。
行业影响与市场动态
频谱盲区的发现具有深远的影响。