JEPA世界模型:AI的未来在于理解,而非生成

July 2026
world modelembodied AI归档:July 2026
在ICML 2026上,AMI Labs联合创始人冯媛发表主题演讲,直言生成式世界模型正陷入计算浪费的泥潭,而联合嵌入预测架构(JEPA)才是将AI带入物理世界的真正钥匙。她认为,JEPA的结构化效率将解锁现实感知、规划与可穿戴AI的新纪元。

在ICML 2026的主题演讲中,AMI Labs联合创始人冯媛提出了一个令人信服的论点:通往具身AI的道路必须经由世界模型——但绝非生成式的那一种。冯媛指出,由Yann LeCun最初提出的联合嵌入预测架构(JEPA),提供了一种比试图逐像素预测的生成式世界模型更高效、更具泛化能力的方法。

冯媛的演讲直接回应了大语言模型在对话流畅性与物理世界操作能力之间的尴尬鸿沟。她展示了JEPA如何构建一个共享嵌入空间,让AI学习因果关系的抽象表征,而非将算力浪费在重建无关的视觉细节上。这使得AI能够以极低的计算成本理解场景动态,并预测未来状态。

冯媛强调,生成式世界模型——如Google的Dreamer、DeepMind的MuZero变体以及最新的视频预测模型——在计算上存在根本性缺陷。它们试图逐像素预测下一帧感官输入,但一张1080p RGB图像就包含620万个值,预测每个像素的分布需要数十亿参数的模型,而绝大多数算力都浪费在静态背景、不影响决策的纹理以及高频噪声上。相比之下,JEPA通过对比学习或方差-不变性-协方差正则化目标,最大化嵌入之间的互信息,同时丢弃无关细节。

AMI Labs已在GitHub上开源了参考实现(仓库:`ami-labs/jepa-world-model`,目前获得4200颗星),在Habitat导航基准测试中取得了领先成果,同时参数数量比主流生成式方法减少60%。冯媛认为,这标志着AI从“生成一切”到“理解本质”的关键转变,而可穿戴设备将是这一技术落地的首个爆发点。

技术深度解析

冯媛的论点建立在一个根本性的架构差异之上:生成式世界模型 vs. 联合嵌入预测架构。要理解其重要性,我们必须审视生成式方法的计算病理学。

生成式世界模型的陷阱

生成式世界模型——以Google的Dreamer、DeepMind的MuZero变体以及最新的视频预测模型为代表——试图逐像素预测下一帧感官输入。这在计算上是灾难性的。一张1080p RGB图像包含620万个值。预测每个像素的分布需要数十亿参数的模型,即便如此,绝大多数算力仍被浪费在重建无关细节上:静态背景、不影响智能体决策的纹理以及高频噪声。

来看具体数字:像DreamerV3这样的先进生成式世界模型,在Atari游戏上训练需要约10^19 FLOPs——比使用抽象表征的同类模型高出约10倍。对于真实世界视频,这一差距扩大到100-1000倍,因为视觉复杂度随场景丰富度呈指数增长。

JEPA的替代方案:在嵌入空间中预测

JEPA完全绕开了这种浪费。它不预测像素,而是学习一个联合嵌入空间,将同一场景的两个视图(例如当前帧和未来帧)映射到彼此可预测的表征上。模型通过对比学习或方差-不变性-协方差正则化目标,最大化这些嵌入之间的互信息,同时丢弃无关细节。

关键洞察在于:JEPA学习的是对预测真正重要的东西。它会自动发现移动物体的位置至关重要,而地板的精确纹理则无关紧要。这种抽象能力正是实现向新环境泛化的关键——模型不是在记忆像素模式,而是在学习底层动力学。

架构组件

典型的JEPA实现包括:
- 一个编码器网络(例如Vision Transformer),将原始感官输入映射到潜在嵌入
- 一个在嵌入空间中运行的预测器网络,从当前嵌入预测未来嵌入
- 一个可选的解码器用于重建(仅用于辅助任务,而非主要训练目标)

AMI Labs已在GitHub上开源了参考实现(仓库:`ami-labs/jepa-world-model`,目前获得4200颗星),在Habitat导航基准测试中取得了领先成果,同时参数数量比主流生成式方法减少60%。

基准测试对比

| 模型 | 参数量 | Habitat成功率 | 训练FLOPs(×10^18) | 推理延迟(ms) |
|---|---|---|---|---|
| DreamerV3(生成式) | 420M | 72.3% | 8.2 | 45 |
| MuZero(生成式) | 380M | 68.1% | 6.5 | 38 |
| JEPA(AMI Labs) | 160M | 78.9% | 1.4 | 12 |
| JEPA(Meta,2024基线) | 200M | 74.2% | 2.1 | 15 |

数据要点: JEPA在成功率上提升了6.6个百分点,同时参数量减少62%,训练计算需求降低83%。推理延迟优势(12ms vs 45ms)对实时可穿戴应用至关重要。

关键玩家与案例研究

AMI Labs与冯媛

AMI Labs联合创始人冯媛一直是具身AI研究领域的一股低调力量。她的背景涵盖MIT CSAIL的机器人学以及Meta AI的计算机视觉研究,在那里她参与了JEPA概念的早期版本工作。AMI Labs成立于2023年,其核心论点是:AI价值的下一波浪潮将来自物理世界交互,而非数字内容生成。该实验室已通过两轮融资筹集8500万美元,投资方包括红杉资本和一家主权财富基金。

其旗舰产品AMI Spectacles是一款智能眼镜,利用基于JEPA的世界模型进行实时场景理解和意图预测。与依赖重型计算和生成式场景重建的Apple Vision Pro不同,AMI Spectacles完全运行在定制的5W芯片上。开发者的早期评测强调,该系统能够在用户完成动作之前预判其行为——例如伸手拿杯子。

Meta的JEPA研究

由Yann LeCun领导的Meta AI研究部门一直是JEPA的主要学术倡导者。他们2024年的论文《用于视频的联合嵌入预测架构》在Kinetics-700数据集上展示了该方法,在没有任何像素级监督的情况下实现了具有竞争力的动作识别。然而,Meta在技术产品化方面进展缓慢,转而专注于生成式视频模型如Make-A-Video。这为AMI Labs留下了抢占物理世界市场的窗口。

竞争方法对比

| 公司/产品 | 方法 | 关键指标 | 计算预算 | 部署状态 |
|---|---|---|---|---|
| AMI Spectacles | JEPA(嵌入预测) | 12ms延迟 | 5W芯片 | 已发布开发者版 |
| Apple Vision Pro | 生成式场景重建 | 20ms延迟 | M2芯片+协处理器 | 已上市 |
| Google DreamerV3 | 生成式世界模型 | 45ms延迟 | 云端GPU | 研究阶段 |
| Meta Make-A-Video | 生成式视频预测 | 不适用 | 云端GPU | 研究阶段 |

相关专题

world model116 篇相关文章embodied AI231 篇相关文章

时间归档

July 2026607 篇已发布文章

延伸阅读

ICML 2026揭示视觉AI从感知到物理推理的范式转向ICML 2026的Spotlight论文标志着一次范式转变:视觉系统正从物体识别迈向物理世界理解。多模态大语言模型与3D高斯泼溅、具身推理以及世界模型的融合,成为重塑该领域的三大技术主线。蚂蚁灵境世界2.0:将具身AI重塑为可玩的物理模拟器蚂蚁灵境科技发布全栈大脑2.0,其核心世界模型LingBot-World 2.0 Infinity可连续生成一小时高清视频且画质零衰减,并支持720p/60fps实时键盘操控。这一从静态感知到交互式物理模拟的跨越,已在全球开发者社区引发轰动ICML 2026:VLA模型统治具身智能,LLM向内转向推理优化在首尔举行的ICML 2026上,AINews观察到两条清晰的技术主线:视觉-语言-动作(VLA)模型已成为具身智能的主导架构,有效解决了延迟和灾难性遗忘问题;而大语言模型研究则向内转向,利用L2范数约束在不增加数据的前提下提升推理能力。超越下一个Token:北京智源发布预测物理因果的世界模型北京智源人工智能研究院推出RoboBrain Orca,一个将视觉、语言与事件压缩至统一潜在空间的世界模型。与预测下一个词或帧不同,Orca建模前向与反向状态转换,赋予机器人真正的因果推理能力。

常见问题

这篇关于“JEPA World Models: Why AI's Future Depends on Understanding, Not Generating”的文章讲了什么?

In a keynote address at ICML 2026, AMI Labs co-founder Feng Yuan presented a compelling case that the path to physically embodied AI runs through world models—but not the generativ…

从“JEPA vs generative world models comparison 2026”看,这件事为什么值得关注?

Feng Yuan's argument rests on a fundamental architectural distinction: generative world models vs. joint embedding predictive architectures. To understand why this matters, we must examine the computational pathology of…

如果想继续追踪“Feng Yuan ICML 2026 world model keynote summary”,应该重点看什么?

可以继续查看本文整理的原文链接、相关文章和 AI 分析部分,快速了解事件背景、影响与后续进展。