技术深度解析
Anthropic 的神经断路器建立在多年机械可解释性研究之上，特别是神经网络将概念编码为激活空间中线性方向的发现。核心洞察在于：如果你能识别出对应危险能力的“方向”——比如合成沙林毒气的能力——你就可以在推理时从模型的残差流中减去该方向，从而在不重新训练的情况下有效禁用该能力。
该过程包括三个步骤：
1. 探测危险特征：使用稀疏自编码器和激活修补，研究人员在模型中间层识别出与有害输出强相关的特征方向。这些特征通常是多语义的——它们编码多个相关概念——这就是为什么简单抑制会破坏良性能力。
2. 构建抑制向量：对于每个识别出的特征，计算一个抑制向量，当将其添加到残差流时，会抵消该特征的激活。该向量与良性特征方向正交，以最小化附带损害。
3. 动态门控：仅当模型进入激活的“危险区”时施加抑制，由监控隐藏状态的轻量级分类器检测。这保留了安全提示的正常行为。
一个关键的技术挑战是多语义性问题：单个神经元通常同时参与有害和有益的计算。Anthropic 的解决方案使用“稀疏编码”来解缠这些特征——该技术受同一实验室的稀疏自编码器工作启发。抑制向量在高维稀疏空间中计算，其中有害和良性特征更易分离。
| 指标 | 基线模型 | 带断路器模型 | 变化 |
|---|---|---|---|
| 有害生物武器提示成功率 | 87% | 4% | -95% |
| 良性化学问题准确率 | 96% | 94% | -2% |
| 有害网络攻击提示成功率 | 79% | 3% | -96% |
| 良性编码任务准确率 | 92% | 91% | -1% |
| 推理延迟开销 | — | +15% | 可接受 |
数据要点：断路器实现了对危险能力的近乎完全抑制，同时良性性能几乎无退化。良性化学任务上2%的下降可能源于重叠的特征表征——这一权衡可能随着更精细的探测而改善。
这种方法与基于RLHF的拒绝训练有本质不同，后者学习一种“我无法回答”的策略。拒绝训练可以通过改写提示或使用角色扮演场景来越狱。断路器在激活层面操作，使其能够抵抗此类攻击，因为危险能力的底层计算被物理禁用，而非仅被习得策略抑制。
一个值得关注的相关开源项目是 sparse_autoencoder（GitHub，约4.5k星），它提供了在Transformer激活上训练稀疏自编码器的工具。虽然不直接实现断路器，但它为特征发现提供了基础基础设施。
关键参与者与案例研究
Anthropic 引领这项研究，建立在其广泛的解释性工作之上。关键研究者包括 Chris Olah（机械可解释性先驱）和“安全团队”成员，他们此前提出了解释多语义性的“叠加假说”。该公司已提交与“激活引导”和“特征抑制”相关的专利，表明其产品化路线图。
竞争方法来自：
- OpenAI：其“指令层次结构”和“模型规范”侧重于行为护栏而非内部修改。他们最近的“弱到强泛化”工作探索使用较小模型监督较大模型，但未涉及内部知识抑制。
- DeepMind：其“安全辩论”和“宪法AI”方法使用对抗训练来对齐模型。他们发表了关于“表征工程”（RepE）的论文，同样操纵内部激活，但聚焦于价值对齐而非能力抑制。
- Redwood Research：其“激活加法”技术是最接近的开源类比，允许用户通过向激活添加向量来引导模型输出。然而，它缺乏Anthropic方法提供的目标化自动特征发现。
| 公司 | 方法 | 机制 | 粒度 | 越狱鲁棒性 | 开源？ |
|---|---|---|---|---|---|
| Anthropic | 神经断路器 | 通过稀疏自编码器进行激活抑制 | 特征级（如“神经毒剂合成”） | 高（激活级） | 否（专有） |
| OpenAI | 指令层次结构 | 行为策略 + RLHF | 提示级 | 中等（可改写） | 否 |
| DeepMind | 宪法AI | 基于AI生成规则的强化学习 | 行为级 | 中等 | 否 |
| Redwood Research | 激活加法 | 向量加法引导 | 激活级 | 中等 | 是 |