技术深度解析
BV-Blend 在策略梯度方法的方差缩减与内存效率交汇点上运作。要理解其创新，我们必须首先剖析 GRPO 的问题。
GRPO 的不稳定性问题
GRPO 针对单个提示的一组样本，为每个生成的响应计算优势。对于组 G 中的响应 i，其优势为：
A_i = (r_i - μ_G) / σ_G
其中 r_i 是奖励，μ_G 是组平均奖励，σ_G 是组标准差。这种归一化消除了对学习基线（评论家）的需求。然而，当 G 中所有响应质量都较低时——这在训练早期或面对困难提示时很常见——μ_G 很低，σ_G 很小。归一化后的优势会变得幅度大但噪声高，放大了奖励模型中的随机波动。这导致梯度更新方差大、训练不稳定，有时甚至引发灾难性遗忘。
BV-Blend 的解决方案：不确定性加权历史基线
BV-Blend 引入了一个历史基线 B_t，它是过去组平均奖励的加权平均：
B_t = (1 - β_t) * μ_G + β_t * H_t
其中 H_t 是历史基线（例如，过去 μ_G 值的指数移动平均），β_t 是一个由不确定性导出的动态权重因子。关键创新在于 β_t 的计算方式：
β_t = σ_u^2 / (σ_u^2 + σ_G^2)
这里，σ_u^2 是不确定性方差——对当前组平均奖励中噪声水平的估计。它通常通过最近 μ_G 值的方差（例如，一个长度为 100 步的滚动窗口）来计算。当 σ_G^2 很大时（组内奖励多样性高，意味着信息量大），β_t 很小，当前组占主导。当 σ_G^2 很小时（所有响应相似，很可能质量差），β_t 趋近于 1，历史基线接管。
最终的优势变为：
A_i = (r_i - B_t) / σ_G
这在数学上类似于使用价值函数基线，但无需训练独立的网络。历史基线 H_t 和不确定性方差 σ_u^2 从缓存的统计量中计算——内存开销可忽略不计。
工程实现
该方法易于在现有 GRPO 代码库基础上实现。开源仓库 `bv-blend-rl`（GitHub 上目前约 1.2k 星）提供了参考实现，其中包含一个与 Hugging Face TRL 库兼容的 PyTorch 实现。关键改动包括：
- 维护一个最近组平均奖励的双端队列（长度 100-200）
- 计算这些均值的滚动均值和方差
- 在每个优势计算步骤应用不确定性加权混合
性能基准测试
使用 Anthropic Helpful-Harmless 数据集在 7B LLaMA-2 模型上进行的实验显示：
| 指标 | 原始 GRPO | BV-Blend | 改进幅度 |
|---|---|---|---|
| 训练奖励方差 | 0.42 | 0.25 | -40% |
| 达到奖励阈值的训练步数 | 12,000 | 10,200 | -15% |
| MT-Bench 得分（最终） | 6.8 | 7.1 | +4.4% |
| AlpacaEval 胜率 | 72.3% | 76.1% | +5.3% |
| GPU 内存（7B 模型） | 28 GB | 28 GB | 0% |
数据要点： BV-Blend 在无任何内存代价的情况下实现了显著的方差缩减和更快的收敛。AlpacaEval 胜率提升 5.3% 尤其值得注意，因为这在实际中转化为更优的对齐质量。
关键参与者与案例研究
GRPO 的起源
GRPO 因 DeepSeek-R1 的技术报告而广为人知，该报告使用 GRPO 训练了 R1 推理模型。DeepSeek 证明，无评论家 RL 在数学和编程任务上可以匹配 PPO 的性能，同时使用内存减少 30%。然而，内部报告指出，在更多样化的数据集（如通用指令跟随）上存在训练不稳定性。BV-Blend 直接填补了这一空白。
对比格局
| 方法 | 内存开销 | 方差缩减 | 训练稳定性 | 实现复杂度 |
|---|---|---|---|---|
| PPO（带评论家） | 高（2倍模型） | 高 | 高 | 高 |
| GRPO | 低（无） | 低 | 低 | 低 |
| RLOO（REINFORCE 留一法） | 低 | 中 | 中 | 中 |
| BV-Blend | 低（无） | 中高 | 高 | 低-中 |
数据要点： BV-Blend 占据了一个甜蜜点：它实现了与 PPO 相当的稳定性，但内存占用与 GRPO 相同。RLOO 使用留一法基线，提供了一定的方差缩减，但在所有样本质量都差时仍然存在问题——BV-Blend 的历史基线能更好地处理这种边缘情况。
初创公司的采用
几家专注于微调开源模型的 AI 初创公司已经集成了 BV-Blend。例如，一家构建专用编程助手的公司报告称，从 GRPO 切换到 BV-Blend 后，训练崩溃减少了 60%，并且他们能够使用更小的批次大小（节省 GPU 小时）。另一家从事多语言对齐的初创公司指出，BV-Blend 的稳定性使他们能够在质量较低的奖励模型上进行训练而不发散，从而将奖励模型训练成本削减了一半。