技术深度解析
核心问题在于，基于Transformer的LLM天生是无状态的。每次推理调用都是独立的，模型没有内置机制将信息从一个会话传递到下一个。尽管上下文窗口已从4K token（GPT-3）扩展到128K token（GPT-4），甚至达到1M token（Gemini 1.5 Pro），但这仍然是一个固定大小的缓冲区，而非持久记忆。一旦上下文窗口填满或会话结束，一切都会丢失。
目前有三种主要架构方法正在涌现来解决这一问题：
1. 分层记忆架构
这种方法通过创建多个层级来模仿人类记忆。短期记忆保存当前对话或任务（高细节、有限容量）。长期记忆存储用户偏好、习得行为和关键事实（压缩、持久）。一个控制器模块决定哪些内容提升到长期记忆，以及检索哪些内容。LangChain的`ConversationSummaryMemory`和`VectorStoreRetrieverMemory`是早期实现。关键挑战在于提升策略：什么值得记住？简单的启发式方法（例如每N条消息）过于粗糙；更智能的系统使用基于用户反馈或任务完成度的重要性评分。
2. 向量数据库检索
这是最流行的商业方法。过去的交互被嵌入为向量表示并存储在数据库中（例如Pinecone、Weaviate、Chroma）。在推理时，智能体检索最语义相似的top-K条过去记忆，并将其注入提示词中。这种方法在事实回忆上表现良好（“客户偏好的交货日期是什么？”），但在程序性记忆上力不从心（“上次我是如何解决这个bug的？”）。开源仓库`chroma-core/chroma`（目前15k+星标）是领先的嵌入式向量数据库，而`weaviate/weaviate`（11k+星标）提供了更具可扩展性的云原生解决方案。一个关键限制是检索质量：如果嵌入模型未能捕捉正确的语义，智能体会检索到不相关的记忆，从而污染上下文。
3. 压缩式摘要
这种技术不存储原始对话日志，而是使用LLM定期生成关键信息的摘要。微软的`MemGPT`（现为`letta/letta`，12k+星标）是一个突出例子。它将记忆视为一个管理系统，包含“主上下文”（工作记忆）和“外部上下文”（归档摘要）。智能体可以在需要时“调入”相关摘要。这种方法节省内存，但会引入延迟（摘要生成需要时间）和信息丢失（摘要可能遗漏微妙但重要的细节）。
性能对比
| 记忆方法 | 检索延迟 | 内存效率 | 回忆准确率（事实性） | 回忆准确率（程序性） | 实现复杂度 |
|---|---|---|---|---|---|
| 无记忆（基线） | 0ms | 不适用 | 0% | 0% | 无 |
| 分层（LangChain） | 50-200ms | 中等 | 70-80% | 40-50% | 中等 |
| 向量数据库（Pinecone） | 100-500ms | 高 | 85-95% | 50-60% | 低-中等 |
| 摘要（MemGPT） | 200-1000ms | 非常高 | 60-75% | 30-40% | 高 |
| 混合（向量+摘要） | 150-600ms | 高 | 90-95% | 60-70% | 非常高 |
数据要点： 没有单一方法占据主导。向量数据库在事实回忆上表现出色，但在程序性记忆上挣扎。摘要方法节省内存但丢失细微之处。混合方法提供了最佳平衡，但实现复杂。行业正趋同于混合系统，但最优架构仍是一个开放的研究问题。
关键玩家与案例研究
OpenAI 在记忆问题上明显保持沉默。ChatGPT在会话之间没有持久记忆（尽管2024年测试了有限的“记忆”功能）。这是一个刻意的选择：OpenAI将隐私和简洁性置于智能体能力之上。但这创造了一个竞争对手正在利用的空白。
Anthropic 走了一条不同的路。Claude的“Constitutional AI”和长上下文窗口（200K token）旨在单次会话中处理整个代码库或长篇文档。然而，这仍然是会话绑定的记忆。Anthropic尚未推出持久记忆，但内部研究表明他们正在开发一个分层系统。
Google DeepMind 可以说是最先进的。Gemini 1.5 Pro的1M token上下文窗口使其能够在会话内“记住”整个电影剧本或代码仓库。但更重要的是，Google的基础设施（Google Drive、Gmail、Calendar）提供了一个天然的外部记忆存储。`Project Mariner`原型展示了一个能够浏览网页并跨任务记住用户偏好的智能体。Google的优势在于其数据生态系统；其挑战在于隐私。
微软 押注于一种不同的方法。`Copilot`生态系统使用Graph API访问用户数据（电子邮件、文档、日历）作为外部记忆的一种形式。这很强大，但仅限于微软的围墙花园。`letta`（MemGPT）项目现已开源