技术深度解析
权重修补本质上是一种植根于因果推断的干预主义技术。它旨在回答一个根本性问题：“这些特定参数是否*导致*了模型的特定行为？”其方法论包含一个三步实验协议：首先，确定感兴趣的行为（例如模型正确回答关于首都的问题）。其次，运行一次前向传播，记录所有层的激活值。第三，执行关键干预：在使用不同输入进行第二次前向传播时，将候选层或注意力头中的权重“外科手术式”地替换为第一次传播中记录的权重。如果模型在第二次输入上的输出发生变化，反映出从第一次输入“修补进来”的行为，那么因果联系便得以确立。
目前已衍生出多种技术变体。由Anthropic可解释性团队推广的消融修补，涉及将特定权重或激活值归零，以观察某项能力是否消失。激活修补（或称“因果追踪”）是其前身，它在不同运行之间交换的是激活值而非权重。权重修补则通过操控产生这些激活值的底层参数，走得更深。路径修补将此概念扩展到整个计算路径，测试特定矩阵乘法序列的因果效应。
工程挑战在于如何将这些干预技术扩展到拥有数千亿参数的巨型模型。研究者使用基于梯度的归因方法来缩小搜索空间。例如，积分梯度方法可以突出显示哪些权重对给定输出最显著，为修补位置提供启发式指导。新的开源库正在涌现以推动这项工作。GitHub上的`circuit-discoverer`仓库提供了在Transformer模型上自动化权重修补实验的工具，允许用户定义行为、自动搜索因果回路并可视化结果。另一个值得注意的仓库是`mech-interp`，这是一个来自独立研究者的工具包，实现了最先进的修补技术，已获得超过2,800个星标，反映出社区的浓厚兴趣。
性能通过所识别回路的精确率和召回率来衡量。一次成功的修补应具有高度的因果特异性（仅破坏目标行为）和因果必要性（没有修补后的回路，该行为就无法实现）。在GPT-2和较小规模Llama变体等模型上的早期基准测试显示出有希望的结果。
| 可解释性方法 | 干预目标 | 是否确立因果关系？ | 对大模型的可扩展性 | 主要用例 |
|------------------------|----------------------------|------------------------|----------------------------|----------------------------|
| 显著性图谱 | 输入特征 | 否 | 高 | 可视化输入重要性 |
| 激活可视化 | 神经元/层输出 | 否 | 中 | 识别相关特征 |
| 激活修补 | 中间激活值 | 部分 | 中-高 | 隔离重要层 |
| 权重修补 | 模型参数（权重） | 是 | 低-中（正在改进） | 证明因果机制 |
| 基于探针的方法 | 习得的线性分类器 | 否 | 高 | 提取概念 |
数据要点： 上表凸显了权重修补的独特地位，它是唯一通过操控模型基本参数来直接确立因果关系的方法。尽管其可扩展性目前仍是挑战，但它无疑是推动可解释性研究从相关性走向因果性的决定性技术。
关键参与者与案例研究
权重修补的前沿阵地正由企业研究实验室和学术机构共同推进，各方有着不同的战略动机。
Anthropic 是一支开创性力量，拥有Chris Olah等研究员以及“Transformer回路数学框架”系列研究背后的团队。他们对Claude模型的研究利用权重修补来定位负责事实回忆、思维链推理甚至欺骗性行为的回路。Anthropic的方法与其“宪法AI”安全范式深度融合；其目标是找到并随后通过外科手术修改导致有害输出的回路，从而实现比单纯依赖人类反馈强化学习更精确的对齐。
Google DeepMind 的可解释性团队（包括David Bau等研究员）已将类似技术应用于Gemini等模型。一项里程碑式的案例研究涉及定位Google的PaLM模型执行间接宾语识别的回路（例如，正确将“医生打电话给律师”与“律师接到了电话”关联起来）。通过修补中间层的特定注意力头，他们可以选择性地破坏这种句法能力，同时保持其他语言功能完好，这为语法结构存在离散的模块化回路提供了有力证据。
OpenAI 现已解散的