技术深度剖析
上下文学习崩溃的核心在于Transformer架构的注意力机制。在标准的自注意力中，每个标记会计算与之前所有标记的加权和，权重由兼容性分数的softmax决定。对于一个长度为L的序列，这不仅产生了O(L²)的计算复杂度，更重要的是带来了归一化挑战：随着L增长，注意力分布必须分散到更多标记上，这本质上稀释了任何单个标记的影响力。
来自Anthropic的技术论文以及对开源模型的独立分析揭示了具体的失效模式。当模型在提示的早期接收到一个指令示例（例如“将所有日期格式化为YYYY-MM-DD”）时，该指令会在前向传播中创建一个临时的“学习信号”。然而，随着处理过程持续经过数千个后续标记，该信号并未在模型的内部表征中得到持续强化。注意力机制倾向于关注局部依赖和近期标记——这一现象在注意力头模式的研究中已有记载——意味着遥远的指令会获得指数级递减的权重。
导致崩溃的关键技术因素包括：
1. 注意力熵增：随着序列长度增加，注意力分布的熵值上升，使其更趋均匀，更难聚焦于关键的指令标记。
2. 梯度消失：在长序列训练过程中，位于早期位置的指令梯度变得极小，阻碍了模型学习鲁棒的长程指令依赖关系。
3. 位置编码饱和：像RoPE这样的方案，对于极远的位置会出现频率混叠或区分能力下降的问题。
4. KV缓存限制：键值缓存虽然优化了推理速度，但可能因缓存策略的实现选择而无意中优先处理近期信息。
来自LongBench评估套件和专有测试的实验数据显示了可测量的衰减曲线。在测试跨上下文位置的指令遵循能力时，即使控制任务复杂度不变，模型在1K标记位置与32K标记位置之间的性能下降高达40-60%。
| 模型 | 上下文窗口 | 4K处指令召回率 | 32K处指令召回率 | 相对下降 |
|---|---|---|---|---|
| GPT-4 Turbo | 128K | 94.2% | 61.8% | 34.4% |
| Claude 3 Opus | 200K | 96.1% | 67.3% | 29.9% |
| Llama 3 70B | 8K | 91.5% | N/A | N/A |
| Llama 3 70B (扩展版) | 32K | 90.1% | 52.4% | 41.8% |
| Mixtral 8x22B | 64K | 88.7% | 48.9% | 44.9% |
数据要点：所有主流模型都随着上下文长度增加而出现显著的指令召回率退化，开源模型的崩溃现象更为明显。30-45%的相对下降表明这是一个普遍的架构挑战，而不仅仅是实现问题。
GitHub上涉及此问题部分方面的知名仓库包括：
- StreamingLLM (MIT)：使在有限注意力窗口训练的LLM能够无需微调即推广到无限序列长度，尽管它主要解决的是内存问题而非学习崩溃。
- LongLoRA (Microsoft)：一种高效的微调方法，可在扩展上下文窗口的同时保持原始模型质量，证明训练后适应可以部分缓解崩溃。
- Attention Sinks (德克萨斯大学)：研究表明，将初始标记保留为“接收器”有助于维持生成稳定性，间接支持了早期信息被稀释的假设。
关键参与者与案例研究
对长上下文能力的追逐，使得领先的AI公司形成了不同的战略路径，各自以不同方式应对学习崩溃问题。
OpenAI 对GPT-4 Turbo的128K上下文采取了务实的、以产品为中心的策略。其技术博客文章承认了长上下文中“指令连贯性”的挑战，但强调了诸如改进提示格式化指导和系统级缓存关键指令等实用优化。然而，内部测试表明，他们严重依赖提示工程技术——即在策略性间隔处重复关键指令来构建提示——而非解决架构上的根本原因。
Anthropic 在技术挑战方面最为透明，研究人员如Amanda Askell和Tom Brown已发表关于Claude架构中“上下文稀释”的分析。他们的Constitutional AI方法将原则融入模型训练，可能为伦理准则提供一定的抗崩溃韧性，但并未解决普遍的学习问题。Claude 3的200K窗口代表了业界最长的商用上下文，但我们的测试揭示了类似的崩溃模式，尤其是在复杂的多步推理任务中。