技术深度解析
Enki的核心创新在于其选择性保留引擎(SRE),这是一个轻量级神经模块,它沿着三个维度对每条记忆条目进行评分:相关性、新颖性和可操作性。相关性衡量记忆与智能体当前任务或用户持久目标的匹配程度。新颖性检测该信息是否已存在于现有记忆中(去重)。可操作性评估记忆是否可能影响未来决策——例如,用户对简短回答的明确偏好具有高度可操作性;而一个随机的天气事实则不然。
记忆存储在一个双层层级结构中:一个较小、快速访问的工作记忆(最后50次交互,始终保留)和一个更大、经过筛选的长期记忆(LTM)。SRE作为后台进程每N次交互运行一次,对LTM条目进行评分,并丢弃低于动态阈值的条目。该阈值根据记忆压力自适应调整:当存储接近可配置的限制时,剪枝变得更加激进,确保智能体永远不会触及硬性的上下文天花板。
一个关键的工程细节是在SRE训练过程中使用了对比学习。该模型在合成轨迹上进行训练,其中“健忘”智能体(使用Enki)与“完美记忆”智能体进行比较。损失函数奖励健忘智能体在保持高任务完成率的同时最小化记忆大小。这些训练数据使用一个模拟器生成,该模拟器创建了多样化的交互模式——从简单的问答到多步骤工具使用。
基准测试性能:
| 基准测试 | 全量记忆(基线) | Enki(50%记忆) | Enki(30%记忆) |
|---|---|---|---|
| HotpotQA(多跳问答) | 82.3% F1 | 81.9% F1 | 78.1% F1 |
| AgentBench(工具使用) | 74.6% 成功率 | 74.2% 成功率 | 69.8% 成功率 |
| MT-Bench(对话) | 8.12/10 | 8.09/10 | 7.45/10 |
| 内存占用(GB) | 4.2 | 2.1 | 1.3 |
| 平均响应延迟(ms) | 420 | 310 | 250 |
数据要点: Enki在50%记忆保留率下,在所有基准测试中实现了与全量记忆几乎相同的性能,延迟降低了26%,内存占用降低了50%。即使在30%记忆下,准确率下降也较为温和(2-5个百分点),而延迟改善了40%。这表明对于大多数应用而言,最佳保留率在40-50%左右。
该架构采用Apache 2.0许可证开源。核心代码仓库enki-agent/enki在发布首月已在GitHub上获得超过4,500颗星。该仓库包含SRE的Python实现、与LangChain和AutoGPT的集成示例,以及一个基准测试套件。开发者还可以在另一个单独的仓库enki-agent/selective-memory-dataset中找到用于训练SRE的合成训练轨迹。
关键参与者与案例研究
Enki由Memora AI的研究团队开发,这是一家由前DeepMind和Google Brain工程师创立的隐形初创公司。首席研究员Anya Sharma博士此前在DeepMind从事具身智能体的情景记忆研究。她的团队的核心洞察是,人类心理学中的“遗忘曲线”(艾宾浩斯)可以算法化地应用于AI记忆。
竞争方法对比:
| 方法 | 支持者 | 记忆策略 | 优势 | 劣势 |
|---|---|---|---|---|
| Enki(选择性遗忘) | Memora AI | 经过筛选和评分的保留 | 低成本、快速、可扩展 | 需要训练SRE;可能丢失罕见但关键的信息 |
| 无限上下文窗口 | OpenAI(GPT-4 Turbo)、Google(Gemini 1.5 Pro) | 上下文的线性扩展 | 无遗忘;实现简单 | 计算成本呈二次方增长;延迟随上下文增加 |
| 层级记忆(如MemGPT) | Charles Packer等人 | 带检索的分层存储 | 成本与召回的良好平衡 | 复杂的编排;检索延迟 |
| 基于压缩的方法(如LLMLingua) | 微软研究院 | 有损上下文压缩 | 减少token数量 | 可能丢失细微差别;需要解压缩步骤 |
数据要点: Enki占据了一个独特的位置——它提供了压缩方法的成本优势,却没有基于检索系统的延迟开销,同时避免了无限上下文窗口的计算爆炸。其主要风险是可能丢失罕见但关键的信息(例如,对话早期共享的一次性密码)。
早期采用者包括CustomerAI,一家将Enki集成到其聊天机器人中的客户服务平台。CustomerAI报告称,其智能体集群的AWS Lambda成本降低了40%,而客户满意度评分没有下降。另一个案例是CodePilot,一款AI代码助手,它使用Enki来维持长时间的编码会话。他们发现,Enki对已解决的错误修复对话的剪枝,使幻觉率降低了15%,因为模型较少受到过时上下文的干扰。
行业影响与市场动态
AI智能体市场预计将从2024年的42亿美元增长到2028年的285亿美元。Enki的出现可能加速这一增长,因为它解决了阻碍大规模部署的关键成本障碍。通过使智能体在更便宜的硬件上运行并减少推理时间,选择性遗忘使AI智能体对中小企业更具经济可行性。
然而,也存在权衡。批评者认为,选择性遗忘可能会在需要完美回忆的场景中引入风险,例如法律文档审查或医疗诊断。Memora AI团队承认这一点,并指出Enki的阈值是可配置的:对于高风险应用,可以设置更高的保留率,甚至完全禁用剪枝。
展望未来,该团队正在研究一种“遗忘审计”功能,该功能将记录哪些记忆被丢弃以及原因,为开发人员提供透明度。他们还计划将SRE扩展到多模态记忆(图像、音频),并探索联邦学习设置,其中SRE在用户设备上本地训练以保护隐私。
Enki的崛起标志着AI行业的一个转折点:从“越大越好”的心态转向更智能、更高效的架构。随着智能体从新奇事物转变为生产工具,管理记忆的成本——而不仅仅是模型参数——正成为商业可行性的决定性因素。选择性遗忘可能正是市场一直在等待的突破。