Legged Gym:GPU并行训练如何重写机器人运动法则

GitHub June 2026
⭐ 3022
来源:GitHubreinforcement learning归档:June 2026
苏黎世联邦理工学院机器人系统实验室推出的开源强化学习框架Legged Gym,将GPU加速仿真打造成训练足式机器人的生产级工具。通过在单个NVIDIA GPU上并行运行数千个机器人实例,它将训练时间从数天缩短至数小时,并为ANYmal、Unitree等平台实现了稳健的仿真到现实迁移。

Legged Gym代表了研究人员和工程师处理足式运动方式的范式转变。该框架基于NVIDIA Isaac Gym构建,利用GPU并行仿真同时训练数千个虚拟机器人,每个机器人运行自己的环境和奖励函数。这种暴力并行化极大提升了样本效率——过去在CPU集群上需要数周的任务,现在在单个高端GPU上不到一小时即可完成。该项目由苏黎世联邦理工学院机器人系统实验室领导,内置了针对ANYmal(来自ANYbotics)以及Unitree Go1和A1系列等流行四足平台的预配置环境。它还提供了模块化奖励系统、域随机化工具和精简的训练流程,已成为该领域的事实标准。

技术深度解析

Legged Gym的核心创新在于利用NVIDIA Isaac Gym的向量化环境API,在单个GPU上并行运行数千个机器人仿真。传统的机器人强化学习依赖基于CPU的物理引擎(如MuJoCo或PyBullet),一次只能模拟一个或少数几个机器人。这造成了瓶颈:收集足够经验以实现策略收敛可能需要数天或数周。Legged Gym通过将每个机器人视为独立的环境实例,并在GPU上同时运行所有实例,绕过了这一瓶颈。物理仿真——接触力、关节动力学、地形交互——在单个大规模张量运算中计算,利用CUDA核心实现大规模并行化。

架构细节: 该框架围绕一个`Runner`类构建,负责编排训练循环。它使用基于PyTorch实现的近端策略优化(PPO)算法,并采用共享的Actor-Critic网络。观测值包括关节位置、速度、机体线速度/角速度,以及指定期望前向速度、横向速度和偏航率的指令向量。动作是目标关节位置,随后通过PD控制器转换为扭矩。奖励函数是模块化的,包含前向速度跟踪、能效、平滑度和足部离地间隙等项。域随机化应用于物理参数,如摩擦系数、质量、电机强度和地形高度,这对于弥合仿真到现实的差距至关重要。

性能基准测试: 下表比较了典型四足运动任务在不同仿真后端上的训练吞吐量和实际时间:

| 后端 | 并行环境数 | 每秒步数 | 1000万步耗时 | 硬件 |
|---|---|---|---|---|
| MuJoCo (CPU) | 1 | ~3,000 | ~55分钟 | 8核CPU |
| Isaac Gym (CPU) | 1 | ~5,000 | ~33分钟 | 8核CPU |
| Isaac Gym (GPU) | 4,096 | ~150,000 | ~1.1分钟 | NVIDIA RTX 4090 |
| Isaac Gym (GPU) | 8,192 | ~250,000 | ~0.7分钟 | NVIDIA A100 |

数据要点: 与单环境CPU仿真器相比,GPU并行化实现了50-80倍的训练吞吐量加速。这使得奖励设计和超参数调优能够快速迭代,而这通常是现实世界机器人研究中的瓶颈。

仿真到现实流程: Legged Gym包含一个`deploy`模块,可将训练好的策略导出为轻量级ONNX或TorchScript模型,该模型可在机器人的机载计算机(如NVIDIA Jetson或Intel NUC)上运行。该策略通常是一个具有256个隐藏单元的双层MLP,内存需求低于1 MB,推理时间小于1毫秒。域随机化和精心调优的奖励函数确保策略无需微调即可迁移。该框架还支持在训练期间向观测值添加噪声,以模拟传感器的不完美性。

相关开源仓库: 除了Legged Gym本身,社区还构建了多个扩展。`legged_gym_ros`仓库提供了用于现实部署的ROS集成。ANYbotics的`isaacgym_anymal`仓库提供了ANYmal C和D的预训练权重。在GitHub上,`legged_gym`项目拥有3,022颗星,并得到积极维护,最近的提交增加了对Unitree H1人形机器人和轮腿机器人的支持。

关键参与者与案例研究

苏黎世联邦理工学院机器人系统实验室(RSL): 由Marco Hutter教授领导,RSL在足式机器人领域处于前沿超过十年。他们开发了ANYmal机器人(衍生为ANYbotics),并发表了关于基于模型控制和运动强化学习的开创性论文。Legged Gym是他们研究的直接成果,并已用于多篇RSL出版物,包括2023年《科学机器人》上关于“在野外学习四足机器人的鲁棒感知运动”的论文。

ANYbotics: 这家ETH衍生公司将ANYmal机器人商业化,用于工业检测。他们已采用Legged Gym作为主要训练框架,并展示了ANYmal使用完全在仿真中训练的策略导航石油钻井平台、天然气厂和建筑工地的能力。其内部基准测试显示,自切换到Legged Gym以来,新运动行为的开发时间减少了40%。

宇树科技(Unitree Robotics): 这家中国公司是Go1、A1和H1机器人的制造商,已将Legged Gym集成到其开发者工具中。宇树为其平台提供了预配置的URDF文件和奖励函数,社区贡献的训练脚本在Go1上取得了最先进的结果。在2024年的一次演示中,宇树展示了一台使用Legged Gym训练的Go1,无需任何现实世界微调即可穿越楼梯、碎石和湿滑表面。

Legged Gym支持的机器人平台比较:

| 平台 | 重量 | 自由度 | 最大速度 | 关键用例 | 社区支持 |
|---|---|---|---|---|---|
| ANYmal C | 50 kg | 12 | 1.0 m/s | 工业检测 | 高(

更多来自 GitHub

微软《机器学习初学者》:免费AI教育的黄金标准?微软的《机器学习初学者》并非又一个普通的GitHub仓库;它是一套精心设计的、为期12周、包含26节课、52个测验的课程体系,旨在让经典机器学习对所有人触手可及。作为微软更广泛教育计划的一部分,该课程迅速成为GitHub上最受欢迎的免费资源NVIDIA SkillSpector:AI Agent技能安全扫描的“救火队长”NVIDIA SkillSpector是一款静态与动态分析工具,专为AI Agent技能这一新兴生态系统设计——即那些扩展LLM能力的模块化插件、工具和函数。与通用代码扫描器不同,SkillSpector深谙Agent AI的独特攻击面:技InstructPix2Pix:用一句话改写图像编辑规则,零门槛创意时代来了由加州大学伯克利分校的Tim Brooks和Alexei Efros等研究人员开发的InstructPix2Pix,代表了图像编辑领域的范式转变。与传统工具需要精确蒙版、图层或复杂参数调整不同,该模型能理解自然语言指令——如“让天空变成日落查看来源专题页GitHub 已收录 2943 篇文章

相关专题

reinforcement learning102 篇相关文章

时间归档

June 20262303 篇已发布文章

延伸阅读

Isaac Gym环境:NVIDIA的GPU并行模拟器如何成为机器人强化学习的事实标准基于NVIDIA Isaac Sim物理引擎构建的IsaacGymEnvs,已悄然成为现代机器人强化学习的基石。通过在单个GPU上并行运行数千个环境,它将训练时间从数天缩短至数小时。本文深入剖析其架构、权衡取舍,以及对具身智能未来的意义。超越模仿:开源强化学习如何解锁PM01人形机器人全新开源仓库'Beyond Minic'将宇树科技RL Lab的强化学习框架移植至众擎PM01人形机器人,填补了双足控制算法可及性的关键空白。AINews深入解析技术迁移路径、性能权衡及其对人形机器人研究民主化的深远意义。BrowserGym:ServiceNow 开源打造网页任务自动化智能体的标准训练场ServiceNow 正式开源 BrowserGym,一个基于经典 Gym 接口的强化学习环境,旨在为网页任务自动化提供统一、标准化的训练与评估框架。通过将网页交互抽象为多模态输入与清晰的动作空间,它有望填补基于网页的强化学习基准测试长期存Stable-WorldModel:世界模型研究可复现性缺失的标准化基石Galilai Group 发布开源平台 Stable-WorldModel,旨在为世界模型研究与评估建立统一标准。该项目上线首日即斩获 GitHub 1733 颗星,凸显了强化学习与机器人领域对可复现基准测试的迫切需求。

常见问题

GitHub 热点“Legged Gym: How GPU-Parallel Training Is Rewriting the Rules of Robot Locomotion”主要讲了什么?

Legged_gym represents a paradigm shift in how researchers and engineers approach legged locomotion. Built on top of NVIDIA Isaac Gym, the framework exploits GPU-based parallel simu…

这个 GitHub 项目在“legged_gym vs Isaac Gym vs Isaac Sim comparison”上为什么会引发关注?

Legged_gym’s core innovation is its use of NVIDIA Isaac Gym’s vectorized environment API to run thousands of robot simulations in parallel on a single GPU. Traditional reinforcement learning for robotics relies on CPU-ba…

从“how to train Unitree Go1 with legged_gym”看,这个 GitHub 项目的热度表现如何?

当前相关 GitHub 项目总星标约为 3022,近一日增长约为 0,这说明它在开源社区具有较强讨论度和扩散能力。