技术深度解析
大语言模型中直觉物理能力的出现，代表了模型规模、架构和训练数据构成三者迷人的交汇。其核心在于Transformer架构通过注意力机制学习概念间复杂关系的能力。当暴露于科学文献时，模型并非简单地记忆事实，而是学习物理概念之间的条件关系——力如何与加速度关联，导热性如何依赖于材料属性，压力如何随体积变化。
近期研究表明，模型通过一种可称为“概念脚手架”的过程发展出这种理解。在多样化的科学文本（从入门物理教材到高级研究论文）上的训练过程，创造了一个丰富的、相互关联的概念网络。当面对一个新的物理问题时，模型并不进行计算，而是遍历这个概念网络，寻找与先前遇到场景的类比，并基于已学习的关系进行概率推断。
促成此能力的关键技术创新包括：
1. 专家混合架构：如Google的Gemini和Anthropic的Claude 3.5 Sonnet等模型采用的MoE架构，其中不同的专家网络专精于不同的概念领域。这允许更高效地发展包括物理直觉在内的专门推理能力。
2. 思维链提示：鼓励模型阐明中间推理步骤的技术，对于揭示和增强直觉物理能力至关重要。当提示模型对物理场景“逐步思考”时，它们展现出更连贯和准确的推理。
3. 基于人类反馈的强化学习：RLHF虽然主要用于对齐，但通过奖励那些符合人类对物理现实理解的输出，无意中强化了模型产生物理上合理推理的能力。
多个开源仓库正在推进该领域的研究：
- Physics-Informed-LLM：一个拥有超过2,300星标的GitHub仓库，探索通过专门训练技术和评估基准来增强语言模型中物理理解的方法。
- SciBench：一个拥有1,800+星标的综合基准测试套件，专门设计用于评估科学推理能力，包括跨多个难度级别的直觉物理问题。
- WorldModel-LLM：一个拥有850星标的实验性框架，尝试在语言模型架构内构建显式的世界模型，专注于物理推理任务。
性能数据揭示了不同模型规模和架构发展直觉物理能力的有趣模式：
| 模型 | 参数量 | 物理基准测试得分 | 定性推理得分 |
|---|---|---|---|
| GPT-4 | ~1.8T (估计) | 92.3% | 88.7% |
| Claude 3.5 Sonnet | 未知 | 90.1% | 91.2% |
| Gemini 1.5 Pro | 未知 | 89.7% | 87.9% |
| Llama 3 70B | 70B | 78.4% | 75.6% |
| Mixtral 8x22B | 176B | 81.2% | 79.3% |
*数据启示：更大的参数量通常与更好的物理理解相关，但架构创新（特别是在Claude 3.5中）使得较小模型也能获得有竞争力的定性推理分数，这表明在物理概念的表征方式上效率有所提升。*
关键参与者与案例研究
直觉物理能力的发展已成为领先AI研究组织的战略重点，各组织以不同的方法论和目标应对这一挑战。
OpenAI 通过似乎是专门训练数据和强化学习技术相结合的方式，将物理理解整合到了GPT-4及后续模型中。他们的方法强调广度——发展恰好包含物理直觉的通用推理能力，而非专门针对它。这与其创造通用能力系统的更广泛战略相一致。OpenAI的研究人员发表的研究表明，仅凭规模，当应用于足够多样化的科学语料库时，就能自然地产生涌现的物理理解。
Anthropic 对Claude 3.5 Sonnet采取了更具结构化的方法，明确设计了增强概念推理的训练方案。他们的宪法AI框架依据一套原则训练模型，可能通过奖励内部一致的推理，无意中强化了物理直觉。Anthropic的研究人员讨论了他们的模型如何通过接触精心策划的科学对话和推理链，发展出“常识物理”。
Google DeepMind 将其在强化学习和游戏AI方面的丰富经验带入了直觉物理的挑战中。他们的Gemini模型受益于在模拟环境和真实世界数据上的多模态训练，这可能为物理理解提供了更坚实的基础。DeepMind的研究方向似乎是将基于规则的物理模拟的精确性与语言模型的灵活推理相结合，创造出既能计算又能解释物理场景的混合系统。
Meta AI 通过其Llama系列的开源模型，为更广泛的研究社区探索直觉物理做出了贡献。他们的工作表明，即使在参数规模较小的情况下，通过精心策划包含丰富因果和物理关系的训练数据，也能培养出显著的物理直觉。Meta的研究强调了数据质量相对于单纯数据规模的重要性。
这些不同的方法共同描绘了一幅图景：直觉物理不是单一技术的产物，而是大规模预训练、专门架构创新、精心策划的训练数据和先进对齐技术共同作用的结果。随着这些组织继续推进，我们可能会看到更专门化的模型出现，这些模型不仅能在文本中推理物理，还能与物理模拟器互动，甚至从与虚拟或真实环境的交互中学习，从而在机器中实现更深刻、更实用的物理世界理解。