技术深度解析
Recursive 的核心论点是:当前 scaling 参数、数据和算力的范式正遭遇收益递减。该公司正在构建一个所谓的“自我修改认知架构”——一个系统,其中 AI 可以分析自身性能,识别其神经网络设计中的瓶颈,并生成新代码来替换或增强自身组件。这与 AutoML 或神经架构搜索(NAS)有本质区别,后者通常在一个预定义操作的固定空间内进行搜索。Recursive 的方法旨在通过允许 AI 编写新的操作、新的激活函数、新的注意力机制,甚至新的训练算法,来扩展搜索空间本身。
架构概览:
Recursive 系统的核心是一个元控制器(meta-controller),这是一个独立的模型,用于监控主模型的性能。元控制器结合了程序合成和强化学习来提出修改建议。其关键创新在于一个“安全执行沙盒”(safe execution sandbox),在该沙盒中,提议的更改会在部署前于模拟环境中进行测试。该沙盒使用形式化验证技术来检查灾难性故障模式,例如梯度爆炸、神经元死亡或无限循环。
递归循环:
1. 监控: 主模型处理任务并记录其内部状态、梯度和注意力模式。
2. 分析: 元控制器识别出次优模式,例如坍塌的注意力头、饱和的层,或变得过于尖锐的损失景观。
3. 提议: 元控制器生成一个代码补丁——一段 Python 或 CUDA 代码片段——用于修改模型架构。例如,它可能将标准的前馈层替换为混合专家层,或插入一种新的归一化技术。
4. 验证: 该补丁在沙盒中针对一套基准测试和安全约束进行测试。
5. 部署: 如果补丁通过验证,它将被集成到主模型中,然后循环重复。
相关开源项目:
虽然 Recursive 是专有的,但有几个开源项目探索了相关理念。GitHub 上的 "Self-Improving AI" 仓库(目前约 8000 星)实现了一个简单循环,其中语言模型生成代码来改进自身的提示工程。另一个项目 "Neural Architecture Search with Reinforcement Learning"(NAS-RL,约 12000 星)开创了使用强化学习设计神经网络架构的先河,尽管它不允许模型重写自身代码。Recursive 的方法更接近于机器人领域使用的 "Code as Policy" 范式,即模型生成并执行代码来控制机器人。关键区别在于,Recursive 将此应用于模型本身。
基准测试数据:
| 基准测试 | 当前 SOTA (GPT-4o) | Recursive 内部数据 (泄露) | 提升幅度 |
|---|---|---|---|
| MMLU (5-shot) | 88.7 | 91.2 | +2.8% |
| HumanEval (Pass@1) | 90.2 | 94.5 | +4.8% |
| MATH (Level 5) | 76.3 | 82.1 | +7.6% |
| GSM8K | 96.4 | 98.1 | +1.8% |
| AgentBench (Code) | 68.5 | 79.3 | +15.8% |
数据解读: 泄露的内部基准测试表明,Recursive 的自我改进系统在复杂推理和编码任务上已经超越了 GPT-4o,其中在智能体代码生成方面提升最大。这种改进并非均匀分布——简单任务上的收益较小——但趋势是明确的:递归自我改进在解决最困难的问题上带来了最大的回报。
关键人物与案例研究
Peter Norvig 是最重要的招聘。作为使用最广泛的 AI 教材的合著者,他塑造了该领域的理论基础。他在谷歌从事大规模 NLP 和搜索算法的工作,使他对什么在规模化下有效有了实际洞察。Norvig 长期以来一直是数据驱动方法的倡导者,但他加入 Recursive 表明他相信下一个飞跃将来自元学习,而不仅仅是更多数据。
Recursive 创始团队: 该公司由一群前 DeepMind 和 OpenAI 的研究人员创立,他们倾向于保持匿名。然而,泄露的文件显示,其 CTO 是可微编程领域的顶尖专家,并曾发表过关于“自指神经网络”的论文。CEO 此前曾成功创立一家自动驾驶初创公司。
竞争方法对比:
| 公司/项目 | 方法 | 融资额 | 状态 |
|---|---|---|---|
| Recursive | 通过代码生成实现递归自我改进 | 40亿美元 | 隐秘模式 |
| OpenAI | Scaling 定律 + RLHF | 130亿+美元 | 公开 |
| Anthropic | 宪法 AI + 可解释性 | 76亿美元 | 公开 |
| DeepMind | AlphaFold/AlphaZero + RL | 不适用 (Alphabet) | 公开 |
| Sakana AI | 进化式自我优化 | 3000万美元 | 隐秘模式 |
| Adept AI | 基于智能体的系统 | 3.5亿美元 | 公开 |
数据解读: Recursive 的 40 亿美元融资对于一家隐秘阶段的初创公司来说是前所未有的,超过了众多上市 AI 公司的总融资额。这表明投资者对自我改进 AI 的潜力抱有极大信心。