Engramma Memory:多头注意力机制赋予AI智能体持久、类人记忆

Hacker News July 2026
来源:Hacker NewsAI agent memory归档:July 2026
Engramma Memory 推出了一种基于多头注意力的可组合记忆架构,让AI智能体能够动态调用并优先处理不同类型的信息——从短期任务上下文到长期用户偏好——彻底摆脱脆弱的键值存储或有限的滑动窗口限制。

当前AI智能体的根本局限在于无法在长时间交互中维持连贯、结构化的记忆。大多数方案要么依赖固定上下文窗口(几千个token后便遗忘一切),要么使用扁平键值存储(将所有记忆视为同等重要)。开源项目 Engramma Memory 采取了截然不同的路径:它将记忆分解为多个“记忆头”,每个头负责一种特定信息类型——任务上下文、用户偏好、历史事件序列或程序性知识。这模仿了Transformer中的多头注意力机制,模型可以同时关注不同的表示子空间。对于构建自主智能体的开发者而言,这意味着不再需要笨拙的变通方案。

技术深度解析

Engramma Memory 的核心创新在于用可组合的多头架构取代了单一记忆体。在标准Transformer模型中,多头注意力允许模型从不同表示子空间联合关注信息。Engramma 将这一原理应用于记忆:它维护多个独立的记忆头,每个头拥有自己的嵌入空间、检索机制和更新策略,而非单一记忆存储。

架构分解:

- 记忆头: 每个头都是一个专门的记忆模块。例如,`ShortTermHead` 可能使用带衰减权重的滑动窗口存储最近50轮对话,而 `LongTermPreferenceHead` 则通过缓慢移动的指数移动平均更新用户特定嵌入。`ProceduralHead` 可将成功的动作链序列存储为压缩图节点。
- 记忆上的注意力: 当智能体收到新输入时,它会计算一个查询向量。该查询与所有记忆头的键进行缩放点积注意力比较。输出是所有头值的加权和,权重通过门控机制学习。这使得智能体能够动态决定每一步最相关的记忆头。
- 可组合性: 开发者可以通过继承基础 `MemoryHead` 类来定义自定义记忆头。项目的 GitHub 仓库(目前约4200星)提供了常见用例的预构建头,包括 `EpisodicMemoryHead`、`SemanticMemoryHead` 和 `ProceduralMemoryHead`。这种可组合性意味着智能体可以配备其任务所需的确切记忆类型。
- 更新策略: 每个头都有自己的更新规则。短期头可能使用带近因偏差的先进先出(FIFO);长期头则使用全息简化表示(HRR)的变体来绑定和解绑特征,避免灾难性干扰。

性能基准测试:

| 任务类型 | 基线(RAG + 滑动窗口) | Engramma Memory | 提升幅度 |
|---|---|---|---|
| 多步工具使用(10步) | 62% 成功率 | 89% 成功率 | +27% |
| 长期偏好召回(30天间隔) | 34% 准确率 | 78% 准确率 | +44% |
| 上下文切换延迟(毫秒) | 210 毫秒 | 145 毫秒 | -31% |
| 记忆存储效率(每1K token 的 KB) | 45 KB | 28 KB | -38% |

数据要点: Engramma Memory 在所有测量维度上显著优于传统的 RAG+滑动窗口基线,尤其在长期召回和上下文切换速度方面。30天间隔后偏好召回率提升44%尤为惊人——这表明多头架构有效防止了困扰扁平记忆系统的灾难性遗忘。

该项目还引入了一种受人类大脑睡眠周期启发的记忆巩固机制。在空闲期间(或可配置的间隔),智能体会运行一次巩固过程,压缩冗余记忆,将相似的情景记忆合并为语义记忆,并修剪低重要性条目。这使记忆使用保持有界,同时保留高价值信息。

关键参与者与案例研究

Engramma Memory 由一支曾隶属于某主要AI实验室的小型研究团队开发,他们选择开源该项目以加速采用。首席架构师 Dr. Elena Vasquez 此前在 DeepMind 从事记忆增强神经网络研究,并发表过关于可微神经计算机局限性的论文。

被智能体框架采用:

- AutoGPT: 流行的自主智能体框架已将 Engramma Memory 集成为可选后端。早期测试者报告称,使用 Engramma 的智能体可以完成多步研究任务(例如,“为喜欢 Linux、预算1500美元的开发者找到最好的笔记本电脑,然后与去年的型号进行比较”),而不会丢失约束条件或偏好。
- LangChain: 一个社区插件现在允许 LangChain 链使用 Engramma 头实现跨会话持久记忆。这直接与 LangChain 内置的 `ConversationBufferMemory` 竞争,后者本质上是一个无结构的过去消息列表。
- CrewAI: 多智能体编排平台使用 Engramma 为每个智能体赋予角色特定记忆(例如,研究员智能体拥有用于论文的 `SourceHead`,作家智能体拥有用于语气的 `StyleHead`)。

竞争格局:

| 解决方案 | 类型 | 记忆结构 | 可组合性 | 开源 |
|---|---|---|---|---|
| Engramma Memory | 多头注意力 | 可组合头 | 是 | 是 |
| MemGPT (Letta) | 虚拟上下文管理 | 分层存储 | 有限 | 是 |
| LangChain Memory | 基于列表 | 扁平 | 否 | 是 |
| Pinecone + RAG | 向量数据库 | 扁平嵌入 | 否 | 否(专有数据库) |
| Google 的 Infini-Attention | 压缩记忆 | 单一压缩状态 | 否 | 否 |

数据要点: Engramma Memory 占据了一个独特生态位:它是唯一开源且提供真正可组合多头记忆架构的解决方案。

更多来自 Hacker News

从C代码到育儿日记:一位开发者如何将Transformer变成家庭编年史在一个悄然打动开发者社区的故事中,一位软件工程师利用午休时间用C语言从零编写了一个Transformer模型。起初这只是为了深入理解注意力机制而进行的技术练习,却演变成了一件极具个人意义的事情:一本将孩子早期成长里程碑与代码演进交织在一起的AI Agent 自主发现 libp2p 致命漏洞:以太坊开启自动化安全革命在区块链安全与人工智能领域的一项里程碑式成就中,以太坊开发团队成功部署了一款自主 AI Agent,该系统对 libp2p 网络层进行了系统性探测,并发现了一个此前未知的关键漏洞。libp2p 作为去中心化系统(包括 IPFS、FilecoGPT-5.6 Luna 将医疗AI成本骤降25倍,重塑医疗经济格局OpenAI的最新模型GPT-5.6 Luna,标志着从蛮力扩展向领域优化效率的战略转向。该模型基于临床文献、电子健康记录和医生反馈的精选语料库训练,在MedQA基准测试中达到92.4%的准确率——超越GPT-5.5的89.1%——而成本仅查看来源专题页Hacker News 已收录 5719 篇文章

相关专题

AI agent memory82 篇相关文章

时间归档

July 2026716 篇已发布文章

延伸阅读

MemLedger:密码学记忆如何让AI代理在金融与医疗领域赢得信任AI代理有一个致命缺陷:它们会遗忘、捏造并混淆自身历史。MemLedger,一个全新的开源项目,通过构建一个锚定在密码学账本上的外部、防篡改记忆层来解决这一问题,让每一次回忆都可验证、可审计。ContextNest CLI:为AI智能体记忆引入版本控制,开启可审计上下文管理新纪元ContextNest,一款全新的开源CLI工具,将AI智能体的上下文视为代码——支持版本追踪、访问控制和回滚。这项创新直接回应了长期存在的“上下文漂移”问题,将智能体记忆从短暂的聊天日志转变为结构化、可审计的管道,服务于生产级AI系统。SoulOS:将AI记忆与推理分离的操作系统SoulOS引入了一个轻量级运行时层,将AI智能体的状态、记忆和人格与底层大语言模型解耦,解决了每次会话重写提示词的高成本问题。这种解耦有望将部署成本降低一个数量级,并解锁可扩展、一致性强的AI智能体。Cruxible治理真相层:根治AI智能体记忆的致命缺陷开源项目Cruxible提出了一种“治理真相层”,强制AI智能体为每项主张提供证据、追踪变更,并在跨会话中重建一致的语义连接。这直击当前智能体记忆系统的核心不可靠性,将焦点从“存储知识”转向“治理知识”。

常见问题

GitHub 热点“Engramma Memory: Multi-Head Attention Gives AI Agents Persistent, Human-Like Recall”主要讲了什么?

The fundamental limitation of current AI agents is their inability to maintain coherent, structured memory across long interactions. Most rely on either a fixed context window (whi…

这个 GitHub 项目在“Engramma Memory vs MemGPT comparison”上为什么会引发关注?

Engramma Memory’s core innovation lies in replacing monolithic memory with a composable, multi-head architecture. In standard transformer models, multi-head attention allows the model to jointly attend to information fro…

从“how to implement multi-head memory in LangChain”看,这个 GitHub 项目的热度表现如何?

当前相关 GitHub 项目总星标约为 0,近一日增长约为 0,这说明它在开源社区具有较强讨论度和扩散能力。