技术深度解析
ICML 2026首日最引人注目的技术主题，是从规模定律向机制可解释性的转向。多篇Spotlight论文提出了大规模逆向工程Transformer电路的新方法。其中一篇亮点论文《Circuit Discovery via Sparse Autoencoders with Learned Topology》扩展了由Anthropic工作推广的稀疏自编码器方法，但引入了一个可学习的图结构，用于捕捉特征在层间的交互方式。作者证明，在GPT-2 small（1.24亿参数）上，该方法能恢复94%的已知可解释电路（如间接宾语识别、否定处理），而标准SAE仅为78%，同时将假阳性连接减少了40%。代码已在GitHub上以`circuit-sae-topology`开源，自上月预发布以来已获得1200颗星。
另一篇关键论文《Causal Tracing with Minimal Interventions for Vision Transformers》将语言模型的因果追踪方法适配到ViT-L/16。研究人员证明，通过干预中间层的特定注意力头，他们能以87%的准确率改变图像分类决策，并识别出物体识别依赖于12-15个头的“共识”，而非任何一个单独的头。这对自动驾驶等安全关键型视觉系统具有直接影响。
在AI for Science前沿，一篇题为《Equivariant Neural Operators for Turbulence Closure》的论文引入了一种尊重Navier-Stokes方程对称性的新架构，在基准湍流数据集上实现了相比传统DNS（直接数值模拟）15倍的加速，同时保持99.2%的与真实值的相关性。该模型使用了一种新颖的群等变核，强制执行旋转和平移不变性，相比标准神经算子将参数数量减少了60%。GitHub仓库`equiv-neural-turbulence`已有890颗星，并被ECMWF的气候建模团队积极使用。
具身AI领域则迎来了突破性进展：《Residual Policy Optimization for Dexterous Manipulation》将离线RL预训练与使用残差策略的在线微调相结合。该方法在D'Claw基准测试的手内物体旋转任务上达到了92%的成功率，而此前最先进水平仅为68%。关键创新在于一个“稳定性评判器”，它防止残差策略偏离离线基础过远，从而解决了长期困扰机器人RL的分布偏移问题。代码已以`residual-policy-opt`开源。
| 论文类别 | 方法 | 性能提升 | 关键指标 | GitHub Stars |
|---|---|---|---|---|
| 可解释性 | 带拓扑结构的Circuit SAE | +16%电路恢复率 | 94% vs 78% | 1,200 |
| AI for Science | 等变神经算子 | 15倍加速 | 99.2%相关性 | 890 |
| 具身AI | 残差策略优化 | +24%成功率 | 92% vs 68% | 640 |
数据要点： 三大转向的技术深度均令人瞩目。可解释性工作表明，我们现在可以大规模系统性地绘制模型内部结构；而AI for Science论文正在交付生产就绪的加速能力。具身AI在灵巧操作上的成功表明，RL+机器人学的组合终于接近实际可行性。
关键参与者与案例研究
多个研究团队和机构在Spotlight环节中占据主导地位。可解释性赛道由MIT CSAIL与Anthropic的合作引领，他们展示了三篇关于电路分析的论文。该方法建立在Anthropic早期工作的基础上，但新增了一个“干预分类法”，根据因果角色（例如“特征增强器”与“特征抑制器”）对电路组件进行分类。该分类法已被Google DeepMind的可解释性团队采用。
在AI for Science领域，DeepMind的AlphaFold团队展示了“AlphaFold-3.5”，它将蛋白质结构预测扩展至包括配体结合和翻译后修饰。该模型在最新的CASP-16基准测试上达到88%的准确率，高于AlphaFold-2的82%。更重要的是，该团队开源了训练代码，并发布了一个包含5亿个预测蛋白质-配体复合物的数据集，已被下载4万次。这直接挑战了像Recursion Pharmaceuticals这样依赖专有湿实验数据的公司。
在机器人学方面，UC Berkeley的BAIR实验室与NVIDIA机器人团队联合展示了《Sim-to-Real Transfer with Domain Randomization 2.0》，该方法使用一个学习到的“现实差距”模型，实时调整仿真参数。在Franka Emika Panda机械臂上，他们在插销入孔任务中实现了95%的仿真到现实迁移成功率，而标准域随机化仅为72%。NVIDIA已将其集成到Isaac Sim平台中，代码以`dr2-sim2real`开源。
| 机构 | 关键贡献 | 性能表现 | 开源状态 |
|---|---|---|---|