技术深度解析
无目标智能体范式的核心，在于用基于智能体自身经验产生的内部信号，取代传统强化学习（RL）中人为设计的奖励函数（例如“获胜得+1分”）。这需要建立在数个关键组件之上的复杂架构。
1. 内在动机引擎： 探索的“动因”。常见实现方式包括：
- 基于预测误差的好奇心： 在《通过自监督预测进行好奇心驱动探索》等论文中普及。该方法训练智能体预测其行动后果，内在奖励即此预测的误差——智能体模型失效的状态被视为新奇且值得探索。`openai/large-scale-curiosity` GitHub 仓库提供了该方法的可扩展实现，展示了预测误差如何驱动在复杂3D环境中的探索。
- 信息增益与赋能： 更形式化的信息论方法驱动智能体寻找能对其未来拥有最大控制权（赋能）或能获取最多环境动态信息的状态。此法计算密集，但能带来更系统化的探索。
- 新奇性检测： 使用如随机网络蒸馏（RND）等技术，智能体学习识别其很少或从未访问过的状态。内在奖励与一个神经网络尝试预测另一个观察同一状态的、固定的随机初始化网络输出时所表现的“惊讶”程度成正比。
2. 世界模型作为基础： 只有当智能体能够构建对其环境的丰富内部表征时，无目标探索才有意义。诸如来自Google DeepMind的基于模型的RL算法DreamerV3等技术至关重要。智能体学习一个能预测未来状态的压缩潜在空间模型。探索随后可在这个想象的潜在空间中高效进行，使智能体能够规划长序列的新奇行动，而无需代价高昂的真实世界试错。拥有超过3k星标的`danijar/dreamerv3` GitHub仓库是领先的开源实现，展示了其在无需针对任务调优的情况下，在广泛领域内达到的顶尖性能。
3. 重新诠释探索-利用困境： 在传统RL中，利用意味着选择已知能产生高外部奖励的行动。在无目标系统中，利用通常意味着在已发现的有趣区域精进技能或深化理解。这一平衡由如“永不放弃”（NGU）等算法管理，该算法将情景新奇性（本次情景中新奇）与终身新奇性（智能体整个生命周期中新奇）相结合。
| 内在动机方法 | 核心机制 | 优势 | 关键挑战 |
|---|---|---|---|
| 预测误差（ICM） | 奖励 = 预测下一状态的误差 | 简单，在视觉丰富的世界中有效 | 可能陷入“嘈杂电视”问题（无尽观看随机画面） |
| 随机网络蒸馏（RND） | 奖励 = 预测网络相对于固定随机网络的误差 | 对随机环境鲁棒，无需前向模型 | 需要精细的特征工程，样本效率可能不高 |
| 赋能 / 信息增益 | 奖励 = 行动与未来状态之间的互信息 | 理论基础坚实，导向系统性技能发现 | 计算成本极高，难以扩展 |
| 模拟好奇心（Dreamer） | 在潜在世界模型中进行探索 | 样本效率高，支持长程规划 | 依赖于所学世界模型的质量 |
数据启示： 上表揭示了在简洁性、鲁棒性与理论纯粹性之间的权衡格局。没有单一方法占主导地位；混合方法——例如结合RND的鲁棒性与Dreamer的规划能力——可能是将无目标智能体扩展到现实世界复杂性的前进道路。
关键参与者与案例研究
无目标AI的发展由企业研究实验室和学术机构共同推动，各自拥有不同的理念和演示领域。
Google DeepMind 一直是先驱，将这一挑战框定为“开放式学习”问题。他们的XLand项目创建了一个庞大的多游戏宇宙，智能体被给予一系列游戏课程，但没有具体的获胜条件。智能体纯粹通过互动，发展出如导航和物体操纵等可泛化技能。DeepMind研究员Max Jaderberg认为，“设定自身目标的能力是通用智能的关键组成部分。”他们近期关于SIMA（可扩展、可指导、多世界智能体）的研究弥合了无目标与目标导向之间的鸿沟，展示了通过开放式探索学得的技能如何能被快速用于执行特定的人类指令。
OpenAI 则通过无奖励信号的强化学习视角探索这一领域。