技术深度解析
该提案的精妙之处在于,它将记忆问题重新构想为一个数据管理挑战,而非神经架构难题。其核心由三个组件构成:
1. `memory.md`:此文件充当仅追加的时序记录簿。每一次值得保留的交互、事实或事件都以时间戳标记,并用自然语言追加记录。可将其视为AI原始的、情景式的记忆流。
2. `knowledge.md`:这是经过综合、组织化的对应文件。定期或由特定事件触发,LLM会审阅`memory.md`,识别关键主题、矛盾或更新,并重写`knowledge.md`以反映一个连贯、概括化的世界状态。这模仿了认知巩固过程,从具体经验转向泛化知识。
3. 语义文件系统(SFS):这是智能中间件。它并非传统文件系统,而是一个能理解Markdown文件*内容*的抽象层。当LLM发出诸如“我上周了解了关于用户项目优先级的哪些信息?”的查询时,SFS会解析查询,在Markdown语料库中进行语义搜索(可能使用轻量级嵌入模型如`all-MiniLM-L6-v2`),检索相关片段,并将其作为上下文提供给LLM。关键在于,它还提供了一个自然语言命令接口(例如`memorize`、`recall`、`summarize`),供LLM操作这些文件。
该工程方法崇尚简洁性与可组合性。SFS可以使用开源向量数据库如ChromaDB或LanceDB实现,这些数据库设计易于集成,并能处理文本块的嵌入与检索。参考实现可能利用LlamaIndex框架,该框架提供了摄取、索引和查询异构数据源的工具。近期备受关注的`semantic-filesystem` GitHub仓库(一个概念原型)展示了如何用响应语义查询的层来包装目录结构,将文件视为知识节点。
一个关键的技术权衡是决定将知识保持在外部的决策。这避免了神经网络重训练中固有的灾难性遗忘,并允许即时知识更新——只需编辑文本文件。然而,由于检索步骤的存在,它在推理时引入了延迟,并将知识一致性和推理的负担完全置于LLM的上下文学习能力之上。系统的性能取决于检索过程的可靠性以及LLM从Markdown文件中综合不同片段的能力。
| 记忆方法 | 更新成本 | 检索延迟 | 知识容量 | 可解释性 |
|----------------------|---------------------------|----------------------|----------------------|---------------------------|
| 模型微调 | 极高(高昂费用,数天计算) | 低(毫秒级) | 受参数限制 | 极低(黑盒) |
| RAG(传统) | 中等(需重新嵌入) | 中高(100-500毫秒) | 极高(外部数据库) | 中等(可引用来源) |
| 双Markdown + SFS | 极低(编辑文本文件) | 中等(100-300毫秒) | 近乎无限 | 极高(人类可读文件) |
数据启示: 双Markdown系统在低成本更新和无与伦比的可解释性方面表现出色,这是其主要价值主张。它为了这些优势牺牲了一些检索速度,这使其定位并非取代所有RAG系统,而是作为知识快速演变和可审计性至关重要的用例的优越解决方案。
关键参与者与案例研究
这种范式转移与AI生态系统中的若干趋势和实体相契合,并正被其加速。OpenAI的ChatGPT及其自定义指令和记忆功能,代表了类似理念的专有、云端实现——将用户偏好外部存储并注入会话。双Markdown方法可被视为这一概念的开放、用户控制版本。
像MemGPT(来自加州大学伯克利分校的研究人员)这样的初创公司,已经开创了为LLM提供结构化“内存”进行管理的架构模式,尽管通常使用更复杂的SQLite或向量数据库。双Markdown提案进一步简化了这一点,目标受众是更广泛的开发者群体。微软的Copilot Studio和谷歌的Vertex AI Agent Builder正朝着低代码智能体创建的方向发展,但它们仍与各自的云平台和专有知识库格式绑定。这种开放的、基于文件的方法创造了摆脱供应商锁定的潜在途径。
像Andrej Karpathy这样的知名研究者长期倡导“软件2.0”和AI基础设施的简化。他将LLM视为新操作系统内核进程的概念化,与语义文件系统的理念深度共鸣。同样,Yohei Nakajima在BabyAGI框架上的工作展示了递归任务和上下文管理的威力,而这正是`memory.md`/`knowledge.md`循环所体现的核心模式。