Voyager计划:Minecraft如何成为自主AI智能体的终极试验场

GitHub March 2026
⭐ 1
来源:GitHubembodied AI归档:March 2026
由NVIDIA科学家Jim Fan领衔的Voyager项目,创造了一个能在《我的世界》无限疆域中自主探索并精通的自我进化AI智能体。它以大语言模型为核心推理引擎,持续学习新技能、编写自身代码并优化行为模式,为未来机器人领域的自主系统提供了革命性蓝图。

Voyager项目代表了具身人工智能发展的一次范式转移。该项目由NVIDIA高级研究科学家Jim Fan团队构思构建,以风靡全球的沙盒游戏《我的世界》作为理想、复杂且开放的模拟环境。与以往基于脚本或强化学习的智能体不同,Voyager通过一个由大语言模型(最初为GPT-4)驱动的自动化永续循环运作——涵盖探索、技能获取与自我反思。它不仅仅是“玩游戏”,而是通过为新技术生成可执行代码、建立不断扩充的技能程序库、并利用环境反馈来批判性改进自身行为,从而“学会玩游戏”。这种方法实质上将大语言模型定位为“世界模型”与“代码生成器”的结合体,使智能体能够积累可组合、可复用的知识,而非仅仅执行一次性任务。

在技术实现上,Voyager摒弃了传统AI代理直接输出低级动作序列(如“向左移动、点击方块”)的模式。当面临“制作木镐”这类任务时,大语言模型会调用《我的世界》程序接口,编写出封装完整技能的Python函数(如`craft_wooden_pickaxe()`)。成功验证后,该函数会被存入向量数据库构建的“技能库”,并附有语义描述与嵌入向量索引。这种设计让智能体在面对新挑战时,能检索并组合已有技能(例如先执行`mine_iron_ore()`再调用`craft_iron_pickaxe()`),实现真正的知识迁移与复合问题解决。

项目底层基于Jim Fan团队同期开发的开源框架MineDojo,该框架不仅提供兼容OpenAI Gym的程序化API,还整合了海量YouTube视频、维基页面与社群讨论数据,为AI理解游戏世界奠定知识基础。Voyager的突破性在于:它首次在开放环境中实现了长期自主技能学习,其性能在探索广度、物品获取数量与移动距离等指标上,较ReAct、AutoGPT等前沿模型呈现数量级优势,标志着AI向持续学习、知识积累的通用自主系统迈出关键一步。

技术深度解析

Voyager的架构由三个迭代运行、大语言模型驱动的模块优雅构成,形成封闭学习回路:自动课程生成器、技能库以及用于自我反思的迭代提示机制。

1. 自动课程生成器: 大语言模型(如GPT-4)充当高级规划师。根据智能体当前状态(库存、生物群系、生命值)与“探索与精通”的高层目标,它提出具体且符合情境的子任务。例如,从森林起点出发,它可能生成:“制作一把木镐。”这超越了静态任务列表,实现了动态的目标导向规划。

2. 技能库与代码生成: 这是Voyager的核心创新。当面临“制作木镐”这类任务时,大语言模型不会输出低级动作序列(如‘向左移动,点击方块’)。相反,它利用为《我的世界》提供的API编写一个Python函数。这个名为`craft_wooden_pickaxe()`的函数封装了该技能。一旦通过执行验证生成,函数便会被存储在以描述和嵌入向量索引的向量数据库(即技能库)中。这创建了一个永久性、可复用、可组合的知识库。未来的任务可以通过检索和执行相关技能,或组合它们(例如先执行`mine_iron_ore()`再调用`craft_iron_pickaxe()`)来解决。

3. 迭代提示与自我反思: 如果执行失败——智能体掉入岩浆,或合成配方错误——环境会提供反馈(例如“你已死亡”,“库存中没有铁”)。该反馈会被纳入新的提示词中送回给大语言模型,要求其批判并调试自己生成的代码。此循环持续直至成功或超时,使智能体能在无人干预的情况下从失败中学习。

技术栈构建于MineDojo之上,这是一个同样由Jim Fan团队开发的开源《我的世界》AI研究框架。MineDojo提供了丰富的程序化API和多样化的任务宇宙。实现此项工作的关键GitHub仓库包括:
* mine-dojo/MineDojo:基础模拟环境。它提供兼容Gym的API,以及海量YouTube视频、维基页面和Reddit帖子数据集,用于将AI知识锚定在《我的世界》中。
* Uni-AI/Voyager:核心智能体实现,展示了三模块架构。

Voyager的性能通过与先前最先进的智能体(如ReActReflexion,它们也使用大语言模型但缺乏持久技能库)对比进行量化。数据极具说服力:

| 智能体 | 发现任务数 | 获取独特物品数 | 移动距离(平均) | 技能库大小 |
|---|---|---|---|---|
| Voyager (GPT-4) | 63.5 | 226.3 | 1,890.2 | 70+ |
| ReAct (GPT-4) | 15.2 | 78.4 | 612.5 | 0 |
| AutoGPT (GPT-4) | 9.8 | 52.1 | 489.3 | 0 |
| VPT (RL基线) | 3.2 | 21.7 | 305.8 | 0 |

数据启示: Voyager的技能库机制使其在探索和任务完成度上实现了数量级的提升。该智能体不仅表现更好,而且能够积累并利用知识,展示了真正的学习能力,而非一次性问题解决。

关键参与者与案例研究

Voyager项目处于AI研究多个关键趋势与实体的交汇点。

Jim Fan与NVIDIA: 作为项目负责人,Jim Fan体现了一种专注于具身AI基础模型的研究理念。他先前在MineDojo和Eureka算法(其中大语言模型为机器人训练编写奖励函数)上的工作,确立了一条连贯的研究脉络:将大语言模型用作通用推理引擎,以解决模拟和机器人学中的问题。NVIDIA的支持具有战略意义,因为该公司正寻求确立其Omniverse平台和AI计算基础设施作为下一代基于模拟训练的自主智能体的必备基础。

竞争方法与案例研究: Voyager的“大语言模型作为规划师/编码员”范式与其他主流方法形成对比:
* 端到端强化学习: 以DeepMind的Gato或OpenAI现已停止的Dota 2团队为代表。这些模型直接从像素/动作学习策略网络。它们数据饥渴、缺乏组合性,并且难以零样本泛化到新任务。Voyager的符号化代码生成更具样本效率且可解释性更强。
* 经典机器人规划: 传统机器人流程涉及显式状态估计、符号规划(如PDDL)和运动控制。它们在开放世界环境中表现脆弱。Voyager表明,大语言模型可以承担规划和高层控制推理的职责,并可能对接底层控制器。
* 其他大语言模型驱动的智能体:AutoGPTBabyAGI这样的项目普及了大语言模型驱动自主的概念,但主要局限于数字任务(网页浏览、写作)。Voyager将这种自主性锚定在一个丰富、物理性(尽管是模拟的)环境中,为具身智能的演进提供了更坚实的试验场。

更多来自 GitHub

Valkey-Go客户端:RDMA与自动管道技术重新定义Redis性能Valkey项目诞生于Redis许可证变更后的分支,如今发布了valkey-go——一款为极致性能而生的Go客户端。与通用Redis客户端不同,valkey-go与Valkey服务端特性紧密耦合,提供客户端缓存(CSC)以减少网络往返、自动Valkey 超越 Redis:开源分支如何重塑实时数据基础设施在 Redis 将其许可证从 BSD 变更为 SSPL/RSAL 双重模式引发争议后,开源社区并未等待太久便做出了回应。Valkey 从 Redis 7.2 最后一个完全开源版本分叉而来,并立即被 Linux 基金会接纳,现已崛起为主要替代Claude-Tap 曝光 AI 编程代理:开发者必备的调试利器Claude-tap 是一款托管在 GitHub 上的轻量级 MITM 代理工具,发布后迅速在调试 AI 编程助手的开发者中走红。上线仅数天,便收获了超过 1,588 颗星,日增量达 +186,凸显了市场对代理可观测性的强烈需求。该工具拦截查看来源专题页GitHub 已收录 2531 篇文章

相关专题

embodied AI163 篇相关文章

时间归档

March 20262347 篇已发布文章

延伸阅读

NetHack学习环境:AI攻克稀疏奖励的终极地牢挑战Facebook AI Research 发布 NetHack 学习环境(NLE),将这款以高难度著称的 Roguelike 游戏转化为通用 AI 的标准化测试平台。NLE 以稀疏奖励、部分可观测性和长周期规划为挑战,为推进多智能体系统与课CodeGen 2.0:Meta开源代码模型改写AI辅助编程规则Meta AI发布CodeGen系列开源代码生成模型,采用创新的多轮对话范式,将自然语言需求逐步精炼为完整函数。从3.5亿到61亿参数的多尺寸模型,正在挑战闭源替代方案,重塑自动化编程格局。CodeRL:Salesforce如何用强化学习教会AI写代码在NeurIPS 2022上亮相的CodeRL,是Salesforce Research提出的一套创新框架,它将预训练语言模型与深度强化学习深度融合,以单元测试通过率作为奖励信号,大幅提升代码生成的正确性。这一方法标志着从静态监督微调向动态Roo Code:多智能体开发团队,Copilot的潜在颠覆者Roo Code 在 GitHub 上一日狂揽 24,000 星,宣称能用 AI 智能体在 VSCode 内取代整个开发团队。但一群专业化的智能体,真的能胜过 Copilot 的单模型范式吗?

常见问题

GitHub 热点“Voyager Project: How Minecraft Became the Ultimate Proving Ground for Autonomous AI Agents”主要讲了什么?

Voyager represents a paradigm shift in the development of embodied artificial intelligence. Conceived and built by a team led by NVIDIA's senior research scientist Jim Fan, the pro…

这个 GitHub 项目在“Voyager Minecraft code generation tutorial”上为什么会引发关注?

Voyager's architecture is elegantly composed of three iterative, LLM-driven modules that form a closed learning loop: an Automatic Curriculum, a Skill Library, and an Iterative Prompting Mechanism for self-reflection. 1.…

从“Jim Fan NVIDIA research embodied AI”看,这个 GitHub 项目的热度表现如何?

当前相关 GitHub 项目总星标约为 1,近一日增长约为 0,这说明它在开源社区具有较强讨论度和扩散能力。