技术深度解析
ICML 2026视觉革命的技术核心在于三大架构创新，它们正迅速融合。
1. MLLM + 3D高斯泼溅融合
传统的3D重建方法（如NeRF）需要每场景数小时的训练，且在动态条件下脆弱不堪。新范式采用3D高斯泼溅（3DGS）作为可微分的实时场景表示，然后在其上叠加多模态大语言模型以注入语义理解。一篇引人注目的论文《GaussianWorld: Language-Guided Real-Time Scene Editing》展示了如何通过MLLM的单次前向传播识别3DGS场景中的物体，并执行局部编辑——例如改变桌子的颜色或移除一把椅子——而无需重新训练。该架构在MLLM的潜在token与3DGS的每高斯特征之间使用交叉注意力机制，实现了细粒度控制。开源仓库`gaussian-splatting`（目前在GitHub上拥有28k星标）已被这项工作分叉并扩展，新增了一个包含MLLM集成代码的`gaussian-world`分支。
2. 用于具身AI的视觉-语言-动作（VLA）模型
第二个突破是端到端VLA模型的出现，它绕过了传统的模块化流水线（感知 -> 规划 -> 控制）。论文《RT-3: Real-Time Visual-Language-Action for Mobile Manipulation》提出了一种基于Transformer的模型，该模型以原始RGB-D图像和自然语言指令作为输入，并直接输出关节级电机命令。关键创新在于一个时间注意力机制，它将视觉token与动作token在2秒的历史窗口内融合，从而实现平滑、反应式的行为。该模型在MetaWorld基准测试中达到了78%的成功率，而此前的最先进模型（RT-2）仅为62%。
3. 具有因果结构的世界模型
或许最具智力雄心的作品是《CausalWorld: Learning Physical Laws from Video》。这篇论文提出了一种新颖的架构，学习场景的潜在因果图——识别哪些物体导致哪些效果——并利用它在反事实干预下预测未来状态。例如，给定一段球击中木块的视频，模型可以预测如果球更重或木块有粘性会发生什么。这远远超出了下一帧预测；它代表了一种直觉物理学的形式。该模型在物体中心槽位上使用图神经网络，并以一个可微分的物理引擎（基于`brax`库）作为先验。在Physion基准测试中，CausalWorld在因果推理问题上的准确率达到91%，而此前最佳方法为73%。
| 模型 | 架构 | 基准测试 | 关键指标 | 推理延迟 |
|---|---|---|---|---|
| GaussianWorld | MLLM + 3DGS | 场景编辑准确率 | 94.2% | 每次编辑120ms |
| RT-3 | Transformer VLA | MetaWorld成功率 | 78% | 每次动作50ms |
| CausalWorld | GNN + 物理先验 | Physion因果准确率 | 91% | 每次预测200ms |
| 此前SOTA (RT-2) | Transformer VLA | MetaWorld成功率 | 62% | 每次动作80ms |
数据要点： 性能差距显著——RT-3相比RT-2成功率提升26%，同时延迟降低37.5%。CausalWorld在因果推理上领先18个百分点，这是一次阶跃式变化，使得真正主动的AI成为可能。
关键参与者与案例研究
研究格局由学术实验室和企业AI部门共同主导，各自采取不同的策略。
学术实验室：
- 斯坦福视觉与学习实验室（SVL）： 由李飞飞教授领导，SVL贡献了CausalWorld论文。他们的策略侧重于将AI扎根于物理现实，超越统计模式匹配。他们拥有包括ImageNet和NeRF在内的基础性工作记录。
- MIT CSAIL： RT-3论文源自这里，由Leslie Kaelbling教授领导。MIT的方法强调实时性能以及与机器人硬件的集成，充分利用其强大的机器人学项目。
- 苏黎世联邦理工学院（ETH Zurich）： GaussianWorld论文是ETH的成果，建立在同一机构最初的3DGS工作之上。他们正积极将3DGS推向交互式应用。
企业研究：
- Google DeepMind： 贡献了一篇关于《Scaling Visual-Language Models for Robotics》的论文，将RT-3与自家的RT-2和PaLM-E模型进行基准测试。他们的策略是利用巨大的算力和数据来训练通用机器人。
- NVIDIA： 展示了《Neural Rendering for Autonomous Driving》，将3DGS与世界模型结合用于闭环仿真。NVIDIA的优势在于其软硬件协同设计，新的Blackwell架构为3DGS操作提供了专用张量核心。
- Tesla： 虽然未提交论文，但Tesla团队大量出席，讨论了他们在基于视频的世界模型方面用于全自动驾驶的内部工作。他们的方法更为专有，但与因果世界模型的趋势一致。
| 组织 | 关键贡献 |
|---|---|