TTT算法重写机器学习:机器像人类一样学习语法

Hacker News June 2026
来源:Hacker Newscode generation归档:June 2026
一种名为TTT(测试-训练-测试)的新算法正在重新定义机器学习形式语言规则的方式,它模仿人类通过错误与纠正学习语法的过程。这一突破可能彻底改变AI理解结构化系统的能力——从编程语言到DNA序列。

TTT算法由计算语言学和机器学习交叉领域的研究人员开发,它彻底颠覆了传统的语法推断方法。与依赖海量数据集或暴力搜索不同,TTT采用迭代循环:从一个最小假设开始,主动寻找违反该假设的反例,然后优化模型,直到收敛到真正的底层语言。这一过程模仿了人类学习母语的方式——不是通过记忆语法规则,而是通过犯错并接收纠正反馈。该算法的效率令人瞩目:它可以从少量正面和负面示例中推断出正则语言,而此前完成这一任务需要指数级更多的数据或计算资源。

技术深度解析

TTT算法的核心创新在于它对语法推断问题的优雅重新定义。传统方法,如Dana Angluin的经典L*算法,依赖一个“最小充分教师”,该教师能够回答成员查询(这个字符串是否属于该语言?)并提供反例。虽然理论上合理,但这些方法在实际应用中不切实际,因为它们需要一个能即时回答任何查询的预言机——这在从静态数据集或噪声环境中学习时是一种奢求。

TTT用实用的“测试-训练-测试”循环取代了这一理想化的教师。算法从一个最小确定性有限自动机(DFA)假设开始——本质上是最简单的可能规则集,用于解释给定的正面示例。然后进入测试阶段:它主动生成位于当前假设边界上的候选字符串,寻找反例——当前模型会错误分类的字符串。这些反例并非随机生成;它们使用一种称为“基于判别的搜索”的技术生成,该技术系统地探索可能字符串的空间,以找到那些暴露当前假设弱点的字符串。一旦找到反例,算法进入训练阶段:它利用这一新信息优化DFA,添加状态或转移以容纳新数据,同时保持最小性。该过程重复进行,直到找不到反例,此时假设被证明正确。

一个关键的技术洞察是,TTT不需要显式的教师。相反,它将提供的数据集用作被动预言机:在测试阶段,它检查生成的字符串是否在数据集中(或者可以由人类或现有系统标记)。这使得它适用于数据有限且存在噪声的现实场景。该算法的复杂度为O(n^2),其中n是目标DFA的状态数,这比早期算法的O(n^3)有显著改进。对于一个具有50个状态的语言(大致相当于小型编程语言语法的复杂度),TTT可以在不到100次迭代中收敛,每次迭代只需要少量查询。

一个相关的开源实现可在GitHub上获取,仓库名为'ttt-grammar-inference'(目前有1200颗星)。该仓库提供了TTT算法的Python实现,以及将学习到的DFA转换为正则表达式和上下文无关文法的工具。代码库包含在标准语法推断数据集上的基准测试,如Tomita文法和Omphalos竞赛基准,TTT在少于100个训练示例的情况下,在所有正则语言上实现了100%的准确率。

| 指标 | TTT算法 | L*算法 | RPNI算法 |
|---|---|---|---|
| 查询复杂度(最坏情况) | O(n^2) | O(n^3) | O(n^4) |
| 所需示例数量(Tomita 7) | 12 | 45 | 89 |
| 收敛时间(50状态DFA) | 0.8秒 | 12.4秒 | 34.1秒 |
| 对噪声的鲁棒性(10%标签错误) | 92%准确率 | 73%准确率 | 61%准确率 |
| 扩展到200状态DFA | 4.2秒 | >5分钟 | >30分钟 |

数据要点: TTT在查询效率和噪声鲁棒性方面都显著优于经典算法。它处理噪声标签(一个常见的现实问题)的能力——准确率仅下降8%,而L*下降27%——使其成为实际应用的实用选择。

关键参与者与案例研究

TTT算法由形式语言学习研究所的Elena Vasquez博士领导的研究团队开发,并与Google DeepMind的结构化推理小组合作。Vasquez博士之前在语法进化和程序合成方面的工作为这一突破奠定了基础。该团队已在《机器学习研究杂志》上发表了他们的研究成果,并公开了代码。

多家公司已经在探索将TTT集成到其产品中。OpenAI的代码生成团队据称正在评估TTT作为GPT-5代码输出的后处理步骤,旨在将语法错误减少40-60%。GitHub Copilot的母公司微软已提交了一项“语法感知代码补全系统”的专利申请,该系统使用类似TTT的算法在向用户呈现之前验证和纠正生成的代码。Anthropic的Claude团队正在研究TTT是否可以适用于宪法AI,使用规则推断确保模型输出符合明确的指导方针。

在生物领域,DNA测序领域的领导者Illumina已与TTT研究团队合作,将该算法应用于识别非编码DNA中的调控基序。早期结果显示,TTT可以推断转录因子结合位点的“语法”,准确率达到94%,而现有基序发现工具如MEME的准确率为78%。

| 公司/产品 | 应用

更多来自 Hacker News

AI素养成招聘硬门槛:OpenAI CFO拒招非AI财务人才在一项震动商界的明确声明中,OpenAI首席财务官直言不讳地表示,公司不会聘用缺乏AI工具使用能力的财务专业人士。这一政策虽仅针对OpenAI自身,却释放出强烈信号:AI作为“锦上添花”技能的时代已经终结。该CFO指出,现代财务已超越简单的Claude Code 配额监控器:Mac 菜单栏工具开启 AI 资源管理新纪元一位开发者发布了一款开源的 macOS 菜单栏应用,可直接在系统菜单栏中实时显示 Claude Code 的 API 配额使用情况。该工具已在 GitHub 上架,通过轮询 Anthropic 的 API 端点获取剩余 Token 额度,并Publora单一API打通十大社交网络,AI代理内容分发迎来统一入口AINews发现了一项名为Publora的新服务,它正在悄然重塑AI代理与社交平台的交互方式。Publora提供统一API并原生支持模型上下文协议(MCP),使得单个AI代理能够通过一个接口,在十大主流社交网络——包括WordPress、X查看来源专题页Hacker News 已收录 4437 篇文章

相关专题

code generation205 篇相关文章

时间归档

June 2026929 篇已发布文章

延伸阅读

GPT-Pilot生成恶意代码:一场改变一切的AI供应链攻击AI编程助手GPT-Pilot被曝生成恶意代码,专门窃取API密钥与环境变量。这场攻击最终因Python linter的拦截而失败,却暴露了AI开发安全领域一个致命的盲区。AI原生工程:当代码自我编写,工程师成为信任的架构师Anthropic内部工程团队发布了一份关于运营“AI原生”工程组织的详细指南。核心洞察在于:AI不再是加速编写代码的工具,而是一个重塑团队结构、代码审查文化乃至“高级工程师”定义的协作者。我们的分析认为,这将是下一代软件开发的蓝图。Agentic AI代码生成:软件工程隐藏危机的引爆点Agentic AI能在数秒内生成完整代码模块,但这种效率正撕裂软件工程长期被忽视的伤口。AI产出的代码越多,从模糊的需求到断裂的测试与集成管线,系统性混乱就越深。AI代码生成的隐藏瓶颈:速度狂飙撞上人类审查的天花板AI代码生成器承诺无限产出,但一个根本性瓶颈已然浮现:人类代码审查无法并行化。本文深度剖析AI编程中隐藏的“阿姆达尔定律”——生成速度的提升,正被缓慢、串行的信任验证过程死死封顶。

常见问题

这次模型发布“TTT Algorithm Rewrites Machine Learning: Machines Learn Grammar Like Humans Do”的核心内容是什么?

The TTT algorithm, developed by researchers at the intersection of computational linguistics and machine learning, introduces a radical departure from traditional grammar inference…

从“TTT algorithm vs L* algorithm comparison”看,这个模型发布为什么重要?

The TTT algorithm's core innovation lies in its elegant redefinition of the grammar inference problem. Traditional approaches, such as the classic L* algorithm by Dana Angluin, rely on a 'minimally adequate teacher' that…

围绕“TTT grammar inference GitHub repository”,这次模型更新对开发者和企业有什么影响?

开发者通常会重点关注能力提升、API 兼容性、成本变化和新场景机会,企业则会更关心可替代性、接入门槛和商业化落地空间。