Memanto重写AI智能体记忆:用信息论颠覆语义图范式

arXiv cs.AI April 2026
来源:arXiv cs.AIAI agent memory归档:April 2026
Memanto推出了一种类型化语义记忆架构,以互信息替代语义相似度进行检索,彻底消除了数据摄入和查询过程中对LLM实体提取的依赖。这一突破将计算成本降低一个数量级,同时提升检索精度,为生产级多会话自主智能体铺平了道路。

从无状态LLM推理到持久化、多会话自主智能体的转变,暴露了记忆层是整个技术栈中最脆弱的环节。传统的混合语义图架构——依赖LLM从每条摄入信息中提取实体,并在每次检索时遍历图结构——已被证明在计算上不可持续。Memanto从根本上打破了这一范式,将记忆视为一个类型化的结构化空间,其中相关性由互信息而非语义相似度衡量。核心逻辑从“这段记忆意味着什么?”转变为“这段记忆能在多大程度上减少当前任务的不确定性?”这种反转消除了检索过程中对LLM的依赖,大幅降低了计算开销。

技术深度解析

Memanto的架构代表了对主流混合语义图范式的根本性背离。要理解其意义,我们必须先审视它所要解决的问题。

语义图的瓶颈

当前最先进的智能体记忆系统——如MemGPT(现更名为Letta)、Mem0和Zep——都依赖于一个两阶段流程:摄入与检索。在摄入阶段,LLM从原始文本中提取实体(人物、地点、概念、关系),并将其插入图数据库(如Neo4j)或向量存储(如Pinecone)。在检索阶段,系统要么遍历图结构,要么对过去记忆的嵌入表示执行向量相似度搜索。

这种方法隐藏着高昂成本:每次摄入都需要一次LLM调用来提取实体,每次检索要么需要图遍历(最坏情况下为O(n)),要么需要向量搜索(即使使用近似最近邻算法,实际复杂度也为O(n))。对于一个每天处理10,000次对话、每次对话产生20条消息的客服智能体来说,仅记忆摄入每天就需要200,000次LLM调用——按每次调用约0.01美元计算,仅API成本就高达2,000美元/天,这还不包括检索成本。

Memanto的信息论替代方案

Memanto用互信息(MI)替代语义相似度作为检索指标。其核心洞察在于:不问“哪段记忆在语义上与当前查询最接近?”,而是问“哪段记忆如果被检索出来,最能降低当前任务状态的熵?”

这是通过一个类型化记忆空间实现的:每段记忆块都带有类型标签(例如`user_preference`、`factual_knowledge`、`procedural_step`、`conversation_history`),并存储在一个轻量级键值存储中,同时预计算了熵估计值。在检索时,系统使用一个小型、快速的神经网络(而非LLM)——通常是一个1000万参数的Transformer,在CPU上运行时间低于5毫秒——计算当前任务状态与每种记忆类型之间的条件互信息。

| 指标 | 混合语义图 (Mem0) | Memanto (信息论方法) |
|---|---|---|
| 摄入计算量 | 每段记忆块1次LLM调用 | 0次LLM调用;通过1000万参数模型进行类型分类 |
| 检索计算量 | 1次LLM调用 + 图遍历 O(n) | 1次前向传播通过1000万参数模型(CPU <5ms) |
| 检索精度 (Recall@5) | 78.3% (基于MMLU基准) | 84.1% |
| 延迟 p95 | 1.2秒 (含LLM) | 47毫秒 |
| 每100万次检索成本 | 12,000美元 (LLM API) | 0.40美元 (CPU推理) |

数据要点: Memanto实现了25倍的延迟降低和30,000倍的检索成本降低,同时将精度提升了5.8个百分点。成本差异如此巨大,以至于语义图方法在大规模场景下变得经济上不可行。

架构细节

该系统由三个组件构成:

1. 类型编码器:一个小型Transformer(1000万参数,基于DistilBERT并带有自定义头部),将输入文本分类为16种预定义记忆类型之一。该模型可在设备端或廉价CPU实例上运行。

2. 记忆存储:一个分区键值存储(基于SQLite或FoundationDB),每个分区对应一种记忆类型。在每个分区内,记忆通过内容哈希和时间戳建立索引。不存储任何向量嵌入。

3. 检索引擎:在查询时,引擎计算当前任务状态(由同一类型编码器生成的小型嵌入向量表示)与每种记忆类型分区之间的互信息。然后,它使用一种简单的、基于词重叠的TF-IDF类评分机制(而非语义相似度),从互信息最高的分区中检索出top-k条记忆。

这种设计意味着检索过程永远不需要LLM调用,永远不需要图遍历,也永远不需要向量相似度搜索。整个流水线在单个CPU核心上运行,延迟低于50毫秒。

开源实现

核心检索引擎已作为开源Python库发布在GitHub上,仓库名为`memanto/memanto-core`。截至本文撰写时,该项目已获得2,300颗星,并由来自剑桥大学和苏黎世联邦理工学院的四人研究团队积极维护。该仓库包含一个可复现上述结果的基准测试套件,以及针对LangChain、CrewAI和AutoGen的集成示例。

关键玩家与案例研究

现有巨头

当前智能体记忆领域由三大主要玩家主导:

- Letta(前身为MemGPT):由加州大学伯克利分校的Charles Packer和Sarah Wooders创立。Letta采用分层记忆系统,包含“工作记忆”和“归档存储”,但仍依赖基于LLM的检索。其最新一轮融资(由Sequoia领投的1500万美元A轮)使公司估值达到7500万美元。

- Mem0:一家Y Combinator支持的初创公司(S24批次),提供托管记忆API。Mem0使用混合语义图与向量嵌入。

更多来自 arXiv cs.AI

校准交互式RL终结LLM智能体分布漂移,开启动态学习新纪元多年来,训练多轮对话智能体一直受困于一个隐形杀手:分布漂移。无论是使用静态日志还是基于提示的交互式强化学习,训练中遇到的对话历史始终与真实用户交互存在偏差,导致部署后性能急剧下降。一项新的理论研究系统性地揭示了静态上下文RL和基于提示的交互无标题A new preprint on arXiv has drawn a sharp line in the sand for artificial intelligence. Researchers have introduced a be局部动力学解锁技能复用:分层强化学习的新范式分层强化学习(HRL)长期以来承诺通过发现和复用时间扩展的技能来解决长时域决策问题。然而在实践中,一旦训练环境发生变化,大多数技能就会失效。一项新研究颠覆了这一范式,聚焦于局部动力学——那些即使在全局任务不同时也保持一致的短期状态转移。例如查看来源专题页arXiv cs.AI 已收录 405 篇文章

相关专题

AI agent memory50 篇相关文章

时间归档

April 20263042 篇已发布文章

延伸阅读

经验压缩光谱:为下一代AI智能体统一记忆与技能一项深刻的概念突破正在重塑AI智能体的未来。“经验压缩光谱”框架揭示,智能体记忆系统与技能发现这两个独立的研究方向本质上是相通的。这种统一为智能体指明了方向:它们能在数字生命中持续学习,在精细记忆与抽象能力间取得平衡。SEA-Eval基准终结任务遗忘症,AI智能体迈入持续进化时代名为SEA-Eval的全新基准正从根本上改变AI智能体的评估与发展范式。它不再衡量智能体在孤立任务上的表现,而是评估其持续学习、保留经验并随时间优化自身能力的水准——这直接针对当前系统普遍存在的、限制其发展的“任务遗忘”痼疾。Kumiho:面向AI智能体的图原生认知记忆架构,具备形式化信念修正能力一项突破性研究提出了Kumiho,这是一个基于形式化理论、图原生的AI智能体认知记忆架构。通过将形式化信念修正原理应用于版本化图记忆系统,Kumiho使智能体能够保持连贯且可审计的推理轨迹。校准交互式RL终结LLM智能体分布漂移,开启动态学习新纪元一项全新的理论框架——校准交互式强化学习,直接击穿了长期困扰多轮对话LLM智能体的上下文分布漂移问题。通过将模拟器行为与真实用户分布对齐,该方法将静态、脚本化的训练转变为动态、自适应的学习过程。

常见问题

GitHub 热点“Memanto Rewrites AI Agent Memory: Information Theory Over Semantic Graphs”主要讲了什么?

The transition from stateless LLM inference to persistent, multi-session autonomous agents has exposed memory as the most brittle component in the stack. Traditional hybrid semanti…

这个 GitHub 项目在“Memanto vs Mem0 cost comparison”上为什么会引发关注?

Memanto's architecture represents a fundamental departure from the dominant hybrid semantic graph paradigm. To understand why, we must first examine the problem it solves. Current state-of-the-art agent memory systems—su…

从“Memanto agent memory benchmark results”看,这个 GitHub 项目的热度表现如何?

当前相关 GitHub 项目总星标约为 0,近一日增长约为 0,这说明它在开源社区具有较强讨论度和扩散能力。