技术深度解析
编程AI的新配方并非什么秘制酱料，而是一个只有少数玩家能够执行的、被充分理解的工程挑战。核心洞察在于：在互联网代码上进行原始的“下一个词元预测”已经遭遇收益递减。真实世界的代码充满噪声、包含错误、缺乏文档，且往往重复冗余。“黄金三角”通过创建一个闭环系统来应对这一问题。
面向代码的强化学习（RL）： 最突出的方法是RL的一个变体，称为“基于代码执行反馈的强化学习”（RLCEF），它是RLHF的进化版。奖励信号不再来自人类偏好，而是直接来自执行环境：代码编译成功了吗？通过了单元测试吗？在时限内运行了吗？这在计算上非常昂贵，但极其有效。例如，DeepSeek-Coder-V2和开源项目OpenCodeInterpreter（一个GitHub仓库，拥有超过15,000颗星）就使用执行反馈来微调模型。模型生成一个解决方案，在沙盒环境中运行它，接收通过/失败的信号，然后更新其策略。这创建了一个自我改进的循环，模型学会了调试自己的输出。
合成数据生成： 第二个支柱是创建高质量的合成训练数据。像Codeium和Replit这样的公司生成了数百万个合成编程问题及其解决方案。这个过程通常涉及一个“教师”模型（通常是像GPT-4或Claude这样的前沿模型）生成一个编程问题、一个解决方案和一组测试用例。然后一个“学生”模型尝试解决它。教师模型还可以生成“思维链”推理轨迹，不仅教会学生最终答案，还教会其逐步的逻辑推理。这解决了高质量、多样化且正确标注的代码数据稀缺的问题。合成数据也是“干净”的——它附带完美的测试用例和已知的正确解决方案，这对于RL奖励信号至关重要。
百亿亿次计算集群： 第三个支柱是支持大规模运行此循环的基础设施。使用RL训练单个代码模型需要数千块GPU运行数月。例如，使用RLCEF训练一个700亿参数的模型可能需要超过10,000块A100或H100 GPU运行30天。这是因为每个训练步骤都涉及生成代码、在沙盒中执行代码（这很慢），然后反向传播奖励。像Meta（通过其Code Llama系列）和开源仓库“OpenRLHF”（超过8,000颗星）背后的团队，已经发布了他们如何编排这一过程的细节。计算集群必须处理的不仅是模型训练，还有大规模并行执行环境。这既是一个算法问题，也是一个物流和成本问题。
基准测试表现： 结果不言自明。下表展示了领先模型在HumanEval基准测试（pass@1）和更具挑战性的SWE-bench（测试真实世界GitHub问题解决能力）上的表现。
| 模型 | HumanEval (pass@1) | SWE-bench (解决率 %) | 训练范式 |
|---|---|---|---|
| GPT-4o (2024) | 90.2% | 33.2% | RL + 合成数据 |
| Claude 3.5 Sonnet | 92.0% | 49.0% | RL + 合成数据 |
| DeepSeek-Coder-V2 | 90.6% | 41.5% | RLCEF + 合成数据 |
| Code Llama 70B | 67.8% | 18.5% | 仅下一个词元预测 |
| StarCoder2 15B | 68.4% | 12.3% | 仅下一个词元预测 |
数据要点： 使用“黄金三角”（RL + 合成数据）的模型，其表现远超仅使用下一个词元预测的模型。在SWE-bench上的差距尤其巨大，该基准测试需要多步推理和调试——这些技能正是通过带执行反馈的RL直接锤炼出来的。这证实了范式转变是真实且可衡量的。
关键玩家与案例研究
构建自主软件工程师的竞赛，正由一批初创公司、科技巨头和开源社区共同引领。每家公司对“黄金三角”都有不同的策略。
Anthropic (Claude 3.5 Sonnet): Anthropic一直是这个领域的低调领导者。他们的Claude 3.5 Sonnet模型在SWE-bench排行榜上名列前茅，它使用了一个复杂的RL管道，不仅奖励正确的代码，还奖励安全且可解释的推理。他们在合成数据生成上投入巨资，使用Claude自身创建了数百万个编程挑战。他们的优势在于其对齐研究，这确保了模型不仅解决问题，而且以透明和可审计的方式解决问题。
DeepSeek (DeepSeek-Coder-V2): 这家中国AI实验室开源了最强大的编程模型之一。他们的方法以其高效性著称。他们使用了混合专家（MoE）架构，这使得每个词元只激活模型参数的一小部分，从而降低了推理成本。他们的RL管道在其论文中有详细描述，采用了一种新颖的“演员-评论家”设置，其中评论家网络学习预测执行结果，而无需实际运行代码。