技术深度解析
MiniF2F的架构看似简单：实为一系列将自然语言问题映射到形式化表述的JSON文件。其技术精妙之处在于严谨的 curation 过程以及多形式语言的双重表述。每个条目包含：
- `informal_statement`：人类可读的数学问题。
- `formal_statement_lean`：用Lean依赖类型理论编码的问题。
- `formal_statement_isabelle`：用Isabelle/HOL高阶逻辑编码的同一问题。
- `proof_lean` / `proof_isabelle`：对应语言的参考证明。
这种多语言方法至关重要。它确保基准测试结果不会受单一形式系统特殊性的干扰。一个表现优异的模型必须理解底层数学概念，而不仅仅是Lean或Isabelle的语法。数据集遵循标准机器学习实践，划分为训练集（244题）、验证集（122题）和测试集（122题）。
MiniF2F揭示的核心技术挑战是神经符号集成。纯符号ATP系统（如Vampire或E）已存在数十年，但在高层数学的巨大搜索空间中举步维艰。相反，神经模型缺乏严谨的逻辑根基。最有前景的方法以OpenAI自身先前在GPT-f（为形式数学微调的GPT-3）上的工作为例，结合了两者：语言模型提出证明策略或中间步骤（“直觉飞跃”），而符号验证器（证明助手）检查每一步的有效性。
近期攻克形式数学的最先进系统，如Google DeepMind的AlphaGeometry（解决了30道IMO几何题中的25道）和Meta的Hypertree Proof Search，都依赖类似的混合架构。它们使用神经生成器提出证明扩展，并用符号验证器修剪无效路径。MiniF2F为在几何之外更广泛的数学领域比较这些架构提供了共同基础。
| 系统/模型 | 架构 | 报告的MiniF2F测试得分（证明成功率%） | 关键技术 |
|---|---|---|---|
| GPT-f (OpenAI, 2021) | Transformer + 策略 | ~29%（基于早期版本） | 基于Lean证明的监督微调 |
| Codex (微调版) | 大语言模型 | ~21% | 形式代码的少样本提示 |
| Thor (ETH Zurich) | 图神经网络 + ATP | ~35%（预估） | 证明状态的图表示 |
| Hypertree Proof Search (Meta) | Transformer + MCTS | ~38%（初步结果） | 证明空间上的蒙特卡洛树搜索 |
*数据启示*：MiniF2F的性能天花板仍然很低，即使是先进的混合系统也难以解决超过40%的问题。这凸显了基准的难度以及当前AI与稳健形式推理之间的巨大差距。专用系统相对于Codex等微调通用LLM约10个百分点的领先优势，突显了专用推理架构的必要性。
围绕此基准已涌现出相关的开源项目。Lean-gym仓库为在Lean定理上训练RL智能体提供了交互式环境，而ProofNet是另一个基于MiniF2F概念扩展的社区构建数据集。MiniF2F仓库相对温和的422个星标掩盖了其超常的影响力；它已成为任何严肃的ATP/NTP研究论文的必测项目。
关键参与者与案例研究
MiniF2F的发布催化了三大类参与者的活动：基础AI实验室、学术研究小组以及构建形式化验证工具的初创公司。
OpenAI的战略布局：OpenAI在此并不仅仅是基准发布者，更是主要竞争者。他们之前的GPT-f项目已表明其持续的兴趣。MiniF2F作为一个公共基准，与OpenAI内部提升o1或未来迭代模型推理能力的路线图相一致。通过设定评估标准，他们塑造了研究社区的目标。OpenAI的研究人员如Stanislas Polu和Jesse Michael Han在这项工作中发挥了关键作用，倡导将形式化验证集成到LLM训练循环中。
Google DeepMind的竞争愿景：DeepMind的优势在于强化学习和搜索。由Trieu H. Trinh领导的AlphaGeometry系统，通过使用专为几何图定制的神经符号方法，完全绕过了形式语言。MiniF2F挑战他们将此成功推广到没有自然图表表示的领域。DeepMind的Gopher和Chinchilla论文也探索了数学推理，但主要针对非形式化问题。MiniF2F代表了一个更严谨、也可能更具对抗性的与OpenAI竞争的舞台。
Meta AI的开源攻势：Meta通过其FAIR团队，已大力投资于Lean等开源证明助手。研究员Sebastian Ullrich