技术深度解析
灵控VLA 2.0基于Transformer架构构建,将视觉、语言和动作模态融合为单一端到端模型。与早期需要独立感知和控制管线的VLA模型不同,该模型使用共享潜在空间,其中视觉令牌、文本嵌入和动作原语被联合表征。其关键创新在于动作令牌化方案:连续的电机指令被离散化为1024个动作令牌的词汇表,使模型能将机器人控制视为语言建模问题。这使得Transformer能够像GPT模型生成文本一样,自回归地预测动作序列。
训练数据管线同样至关重要。6万小时的数据来自一支由20余种异构机器人组成的车队,它们在仓库、厨房、实验室和户外空间等多样化环境中运行。每次交互都被记录为多模态流:RGB-D视频、本体感受关节状态、力-扭矩读数以及人类操作员的自然语言指令。随后,数据通过半自动标注管线进行处理,提取任务标签、物体边界框和成功/失败信号。该数据集比典型的机器人操控数据集(如RT-1的13万条片段或Bridge Data的7万条片段)大数个数量级。
| 模型 | 训练数据(小时) | 支持平台数 | 开源 | 动作令牌化 | MMLU分数(视觉-语言) |
|---|---|---|---|---|---|
| 灵控VLA 2.0 | 60,000 | 20+ | 是 | 1024个令牌 | 72.3 |
| RT-2 (Google DeepMind) | ~10,000 (估计) | ~10 | 否 | 连续 | 78.1 |
| Octo (UC Berkeley) | ~2,000 | ~5 | 是 | 256个令牌 | 65.0 |
| OpenVLA (Stanford) | ~1,500 | ~3 | 是 | 512个令牌 | 68.5 |
数据要点: 灵控VLA 2.0的巨大训练数据优势(比RT-2多6倍小时数)与其跨平台泛化能力直接相关。然而,其MMLU分数低于RT-2表明存在权衡:该模型优先考虑动作鲁棒性,而非纯粹的视觉-语言推理。对于机器人技术而言,这很可能是正确的选择。
该模型的架构还包含一个硬件抽象层(HAL),将通用动作令牌映射到平台特定的电机指令。该HAL在训练期间以端到端方式学习,意味着模型隐式发现了不同机器人之间的运动学和动力学差异。例如,“拿起杯子”的动作令牌将为6自由度机械臂和7自由度机械臂生成不同的关节轨迹,但两者都能实现相同的结果。这是一种跨实体迁移学习形式,一直是机器人领域的圣杯。
相关开源资源:灵控团队已在GitHub上以仓库`lingbot/vla-2.0`发布了模型权重和推理代码(目前获得4200颗星)。他们还提供了一个基于MuJoCo的仿真环境,用于在实际硬件上部署前在虚拟机器人上进行测试。
关键参与者与案例研究
灵控VLA 2.0的开发由灵控AI(Lingbot AI)的研究团队领导,这是一家北京初创公司,由前Google Brain和UC Berkeley校友创立。该项目获得了硬件制造商联盟的战略支持,包括宇树科技(Unitree Robotics)(以其H1人形机器人闻名)、松灵机器人(AgileX Robotics)(移动操作平台)和越疆科技(Dobot)(协作机械臂)。这些公司提供了其机器人车队用于数据收集,作为回报,他们能提前获得针对其硬件优化的模型微调版本。
一个值得注意的案例是宇树科技的H1人形机器人。在灵控VLA 2.0之前,控制H1执行复杂操作任务需要数月的定制工程。借助新模型,清华大学的一个团队仅用两周时间,通过50条示范片段进行微调,就教会了H1倒水、开门和抓取物体。与传统方法相比,部署时间减少了10倍。
| 公司 | 产品 | 与灵控VLA 2.0的集成 | 应用场景 | 部署时间 |
|---|---|---|---|---|
| 宇树科技 (Unitree Robotics) | H1人形机器人 | 完全支持 | 家务任务 | 2周 |
| 松灵机器人 (AgileX Robotics) | Tracer移动操作平台 | 完全支持 | 仓库拣选 | 3周 |
| 越疆科技 (Dobot) | CR5协作机械臂 | 部分支持 | 装配线 | 1周 |
| Franka Emika | Panda机械臂 | 通过社区分支 | 研究 | 4周 |
数据要点: 该模型将部署时间从数月缩短至数周的能力是其杀手锏。对于宇树科技这样的公司,这直接意味着其人形机器人软件能力更快上市。
另一个关键参与者是Hugging Face,该模型在其Hub上托管,首周下载量已超过5万次。开源社区已为特定领域创建了分支:一个分支增加了对Franka Emika Panda机械臂的支持,另一个分支针对低功耗边缘设备进行了优化。