技术深度解析
世界模型并非单一架构，而是一系列方法的统称，它们共享一个核心目标：学习环境的预测模型。其基础框架由Jürgen Schmidhuber在1990年代奠定，但现代实现很大程度上借鉴了David Ha和Jürgen Schmidhuber在2018年发表的论文《World Models》。该论文提出了一种三组件架构：视觉模型（V）将观测压缩为潜在表征，记忆模型（M）预测未来的潜在状态，控制器（C）则基于这些预测选择动作。
架构演进：
当今最先进的世界模型已显著进化。DeepMind的Dreamer系列（DreamerV1、V2、V3）使用循环状态空间模型（RSSM）来学习潜在动态。例如，DreamerV3完全从Minecraft环境的像素中学习，在“获取钻石”任务上达到了人类水平的表现，且无需任何人类数据。其关键创新在于使用了“symlog”损失函数和自适应归一化，这稳定了跨不同奖励尺度的训练过程。
另一种重要方法是联合嵌入预测架构（JEPA），由Meta的Yann LeCun倡导。JEPA学习在潜在空间中预测输入某一部分的表征，而非直接预测像素。这避免了像素级预测的计算成本和噪声。Meta的ImageJEPA和VideoJEPA在语义任务上表现出色，表明学习抽象表征比重建原始感官数据更高效。
数据瓶颈与合成解决方案：
最大的技术挑战是数据。真实世界的因果交互数据昂贵且难以大规模收集。例如，一个学习倒水的机器人需要数千次试验，涉及不同杯子形状、液体粘度和倾倒角度。为克服这一难题，研究人员正转向由物理模拟器生成的合成数据。NVIDIA的Isaac Sim和MuJoCo是常用选择。最近，开源仓库Genesis（github.com/Genesis-Embodied-AI/Genesis）通过提供通用物理引擎，能够生成逼真且物理精确的场景用于训练世界模型，已获得超过15,000颗星。Genesis实现了“数据飞轮”：世界模型在合成数据上训练，然后用于生成更复杂的场景，形成良性循环。
基准测试进展：
衡量世界模型的质量本身就是一个开放性问题。当前基准测试聚焦于特定能力：
| 基准测试 | 领域 | 指标 | 当前SOTA | 关键局限 |
|---|---|---|---|---|
| Minecraft (MineRL) | 开放世界生存 | 钻石获取率 | DreamerV3: ~12% | 单一游戏，物理多样性有限 |
| DMControl Suite | 连续控制 | 平均奖励 | DreamerV3: 950/1000 | 低维状态空间 |
| Habitat (ObjectNav) | 具身导航 | 成功率 (SPL) | Embodied CLIP: 0.68 | 静态环境 |
| Physion | 直觉物理 | 预测准确率 | PLATO: 87% | 合成数据，物体类型有限 |
| CARLA (自动驾驶) | 驾驶模拟 | 驾驶得分 | TCP: 82.5 | 简化传感器噪声 |
数据要点： 没有单一基准能全面捕捉“世界模型”的全部内涵。当前的SOTA系统在狭窄领域表现出色，但在面对分布外场景时则彻底失败。Minecraft世界模型与通用世界模型之间的差距，类似于国际象棋引擎与人类儿童之间的差距。
关键玩家与案例研究
构建世界模型的竞赛并非单一模式；不同实验室正采取截然不同的策略，各有独特的权衡。
DeepMind (Google)：从模拟到现实的实用主义者
DeepMind的策略高度聚焦于模拟环境中的强化学习。其Dreamer系列是最广泛引用的开源世界模型框架。最近，他们在2024年推出的“Genie”从无标签互联网视频中学习世界模型，使其能够根据单张图像提示生成可交互的2D平台游戏。Genie的架构使用了时空视频分词器、潜在动态模型以及一个潜在动作模型——该模型无需任何动作标签即可从视频中推断动作。这是向无监督世界模型学习迈出的重要一步。DeepMind的优势在于其庞大的计算资源以及与Google TPU基础设施的整合。其风险在于从模拟到现实的迁移仍然脆弱；一个在模拟物理上训练的模型往往因“现实差距”而在真实世界中失败。
OpenAI：规模化的信徒
OpenAI一直较为保密，但其Sora视频生成模型被广泛解读为事实上的世界模型。Sora能生成长达一分钟的逼真视频，展现出对3D几何、物体持久性的涌现理解，以及