技术深度解析
RoboDojo并非你常见的“抓取-放置”基准测试。它是一套由50个精心设计的任务组成的测试集，旨在探测当前具身智能体最深的弱点。每个任务都设置在随机化、不重复的物理环境中，光照、物体位置和表面属性均可变。评分粒度精细：子任务完成可获得部分分数，但一次灾难性失败（例如撞倒关键物体）可能导致整轮得分为零。
基准测试架构：
- 物理常识： 诸如“堆叠三个不规则积木而不倒塌”或“倒水入杯而不洒出”等任务，测试模型是否理解重力、摩擦力和质心。人类凭直觉解决这些问题；模型失败是因为它们缺乏学习或内置的物理模拟器。
- 多步推理： 一个任务可能要求：(1)识别工具（例如钩子），(2)用它拉开抽屉，(3)取出钥匙，(4)将钥匙插入锁中。当前模型在步骤2或3时就会崩溃，丢失子目标链。
- 动态适应： 突发变化——桌子被撞、灯熄灭——需要实时重新规划。具有固定推理循环的模型无法适应；它们会重复相同的失败动作。
- 工具使用与可供性： 模型必须认识到长杆可以延伸触达范围，或者布料可以用来抓握光滑物体。这需要推理超越视觉外观的物体属性。
- 失败恢复： 如果夹爪掉落物体，模型能否以不同方式重新拾取？人类本能地做到这一点。模型通常会卡住或重复相同的错误。
幕后：模型为何失败
得分最高的模型（12.8分）是Google DeepMind的视觉-语言-动作模型RT-2-XL的微调版本。它使用562B参数的PaLM-E主干网络，并配有学习到的动作头。该模型在500多个任务的13万集机器人数据上进行了训练。然而在RoboDojo上，它仅略优于随机策略（得分为2.1分）。
为什么？模型的内部表征纯粹是统计性的。它根据视觉和文本标记预测下一个标记（动作）。它没有“如果我推这块积木太用力，它会滑下桌子”的概念。它无法模拟反事实。这是一个根本性的架构限制——而非数据规模问题。添加更多同类数据不会教会模型推理未见过的物理配置。
相关开源工作：
- robosuite（GitHub: 1.2k星）：一个机器人学习模拟框架，但其任务远简单于RoboDojo。
- Habitat 2.0（GitHub: 2.8k星）：专注于导航和重排的具身AI基准测试，但缺乏RoboDojo的物理因果测试。
- Grounded Language-Image Pre-training (GLIP)（GitHub: 4.5k星）：用于目标检测，但无法推理物理。
基准测试性能数据：
| 模型 | 物理常识 | 多步推理 | 动态适应 | 工具使用 | 失败恢复 | 总分（满分100） |
|---|---|---|---|---|---|---|
| 人类（平均） | 25.0 | 25.0 | 20.0 | 20.0 | 10.0 | 100.0 |
| RT-2-XL（微调） | 4.2 | 3.1 | 1.8 | 2.5 | 1.2 | 12.8 |
| PaLM-E 562B | 3.8 | 2.9 | 1.5 | 2.1 | 0.9 | 11.2 |
| SayCan（带LLM规划器） | 2.5 | 4.0 | 0.5 | 1.0 | 0.3 | 8.3 |
| RT-1（未微调） | 1.5 | 1.0 | 0.2 | 0.5 | 0.1 | 3.3 |
| 随机策略 | 0.8 | 0.5 | 0.1 | 0.4 | 0.3 | 2.1 |
数据要点： 表格揭示了一个清晰模式：所有模型在动态适应和失败恢复上全面崩溃，得分分别低于2分（满分20分）和1分（满分10分）。这是最关键的发现——当前架构无法处理实时变化或从错误中恢复，而这对于任何现实世界部署都至关重要。差距不是渐进的，而是数量级的。
关键参与者与案例研究
Google DeepMind 是该领域的明显领导者，拥有RT-2和PaLM-E系列。其策略一直是“规模至上”——更大的模型、更多的数据、更多的算力。RoboDojo表明这一策略在物理推理上已撞墙。其内部回应是推动“世界模型”研究，但目前尚无生产系统集成可微分物理引擎。
Meta AI 通过其Habitat平台和最近的“具身AI挑战赛”在具身智能上投入巨资。其方法强调模拟到现实的迁移，但RoboDojo的结果表明其模型存在相同的基本缺陷。Meta的开源政策对研究社区是一大福音，但其模型同样未能破解物理因果问题。
OpenAI 自2021年关闭机器人部门以来，在具身AI领域一直异常沉默。然而，近期招聘“物理感知AI研究员”的职位暗示其可能重新入场。鉴于其在GPT-4和DALL-E上的记录，他们可能带来全新的架构方法——或许是一种混合方案，该方案结合了……