技术深度解析
问题的核心在于大型语言模型（LLM）的训练与部署方式。当前最先进的模型，如GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro，均在海量多样化数据集上通过下一词元预测进行训练。这一过程本质上优化了广泛的任务分布，但无法保证微调或上下文学习期间习得的特定、狭窄行为能在不同模型版本间得以保留。
行为漂移的机制
行为漂移发生在新模型版本尽管在聚合基准测试中得分更高，却无法复现旧版本一致使用的精确输出格式、工具调用语法或对话线索时。这并非随机现象，而是训练过程中模型内部表征发生偏移的结果。当模型更新时，权重被调整以在新训练数据上提升性能或修复特定漏洞。然而，这些调整可能无意中“遗忘”或改变那些未在新训练数据中明确强化的行为。对于依赖结构化输出（如JSON、函数调用）的智能体系统而言，即使词元概率的微小变化也可能导致整个流程崩溃。
具体案例：工具调用回归
考虑一个旨在与代码仓库交互的AI智能体。该智能体使用特定的工具调用格式：`[tool_name(arg1="value1", arg2="value2")]`。旧模型版本（v1）可靠地生成这一精确格式。升级到v2后，模型可能偶尔输出`[tool_name("value1", "value2")]`，甚至用自然语言描述该操作。对人类而言，这是细微的风格差异；对自动化解析器而言，这是致命错误。该开发者的智能体此前基于数千个v1格式示例进行微调，突然在相当比例的调用中失败。
基准数据：进步的假象
下表展示了模型如何在广泛基准测试中提升，同时在特定智能体任务上退化。数据综合自公开评估与社区报告。
| 模型版本 | MMLU分数 | HumanEval分数 | 智能体任务成功率（工具使用） | 智能体任务成功率（上下文遵循） |
|---|---|---|---|---|
| GPT-4 (v1) | 86.4 | 82.0 | 94% | 91% |
| GPT-4o (v2) | 88.7 | 90.2 | 85% | 78% |
| Claude 3 Opus (v1) | 86.8 | 84.1 | 92% | 89% |
| Claude 3.5 Sonnet (v2) | 88.3 | 92.0 | 88% | 82% |
数据要点： 尽管GPT-4o和Claude 3.5 Sonnet在MMLU和HumanEval上均有明显提升，但它们在特定智能体任务——工具使用和上下文遵循——上的表现实际上下降了5至13个百分点。这就是“升级悖论”：模型在总体上更聪明，但在对生产至关重要的特定方面却更笨。
相关开源工作：稳定性前沿
开源社区已开始应对这一问题。`lm-evaluation-harness`（GitHub: EleutherAI/lm-evaluation-harness，6000+星标）是基准测试的标准工具，但尚未包含跨版本行为一致性的稳健测试。较新的项目`agent-eval`（GitHub: microsoft/agent-eval，2000+星标）试图创建标准化的智能体基准测试，但仍处于早期阶段。另一个有前景的方向是`model-soup`（GitHub: mlfoundations/model-soup，1000+星标），它探索通过平均模型权重来保留能力，但尚未适用于生产环境中的智能体。缺乏广泛采用的智能体行为“回归测试套件”是一个关键缺口。
关键参与者与案例研究
这一问题并非假设。多家主要AI公司和开发者平台已遭遇此情况。
OpenAI与GPT-4到GPT-4o的过渡
OpenAI从GPT-4到GPT-4o的过渡是一个分水岭时刻。尽管GPT-4o更快、更便宜，但许多开发者报告称其精心设计的提示词和微调智能体出现故障。最常见的投诉涉及模型“个性”的变化——它变得更冗长、更不愿遵循严格的格式指令、更易产生幻觉性的工具调用。OpenAI在一篇博客文章中承认了这一点，称“某些行为可能发生变化”，并建议在升级前进行广泛测试。这等于默认行为稳定性无法得到保证。
Anthropic与Claude的“性格”漂移
Anthropic的Claude模型以其“宪法式”训练而闻名，旨在使其有益、无害且诚实。然而，从Claude 3 Opus到Claude 3.5 Sonnet的转变出现了类似模式。使用Claude进行结构化数据提取的开发者报告称，新模型在遵循输出模式方面可靠性下降。Anthropic的回应是提供“Claude 3 Opus”旧版端点，但这只是临时修复。该公司对“性格”的关注尚未延伸至“行为稳定性”。