技术深度解析
“经验中枢”智能体的架构，与基础模型的标准推理流程有着根本性不同。它引入了数个新组件：持久化记忆存储、经验编码器、检索与关联模块以及元学习控制器。记忆存储并非简单的日志；它是一个结构化数据库，原始交互（状态、行动、奖励、结果）在此被处理成更高阶的概念。经验编码器通常是一个与主智能体协同训练的小型神经网络，负责将一连串事件轨迹提炼成代表“技能”或“经验教训”的紧凑嵌入向量。
一个主流的架构模式是大型静态“世界模型”（即基础模型）与动态可更新的“技能库”之间的关注点分离。Google DeepMind在《开放式学习催生通用能力智能体》等论文中详细阐述的研究，通过AdA（自适应智能体）等实例展示了这一点。AdA使用基于Transformer的世界模型进行预测，但同时维护着一个独立的神经网络“策略”（技能模块）库，这些策略通过在模拟3D世界中的交互得以添加和完善。新技能的创建通过程序生成与蒸馏的过程实现，成功的行动序列被压缩成可复用的模块。
在算法前沿，持续学习和元学习的技术至关重要。弹性权重巩固及其变体通过识别神经网络中对先前所学技能最重要的参数，并惩罚对这些参数的改动，来帮助缓解灾难性遗忘。更先进的方法使用超网络——即为另一个网络生成权重的网络——来动态地为不同任务重新配置智能体，而不会覆盖核心知识。
一项关键创新是从简单的经验回放（用于深度Q网络）转向概念回放。与存储和回放原始的状态-行动对不同，像DeepMind的MERLIN这样的系统试图构建一个概念的潜在空间。智能体学习预测下一个潜在状态，从而能够利用其压缩后的经验进行规划和结果模拟。
关键的开源项目正在引领这些架构的探索。GitHub上的AgentBench仓库提供了一套标准化的环境套件，用于评估基于LLM的智能体执行多样化任务（编码、游戏、网页导航）的能力。更直接相关的是LangChain对持久化记忆的不断演进的支持，以及AutoGPT在递归自我改进方面的早期实验。一个值得注意的专业化仓库是Voyager，这是一个基于《我的世界》构建的、由LLM驱动的具身智能体，它展示了持续学习的能力；它探索世界、获取新技能（如制作工具），并完全通过交互构建一个不断增长的技能库，实现了比以往智能体更长的探索范围。
| 学习机制 | 关键技术 | 主要优势 | 主要挑战 |
|----------------------|----------------------------------|----------------------------------|----------------------------------|
| 经验回放 | 存储并重训过去的(s,a,r)元组 | 稳定强化学习训练，复用数据 | 扩展性差，存储低价值数据 |
| 弹性权重巩固 | 计算参数重要性/费雪信息 | 缓解灾难性遗忘 | 计算量大，假设任务边界清晰 |
| 超网络 | 从上下文向量生成任务特定权重 | 实现快速任务切换 | 训练复杂，存在元过拟合风险 |
| 技能蒸馏 | 训练小型网络模仿成功轨迹 | 创建紧凑、可复用模块 | 需定义“技能”边界 |
| 概念嵌入 | 学习事件/结果的潜在空间 | 支持抽象推理与规划 | 潜在空间可能难以解释 |
数据启示： 上表揭示了一个权衡格局。经验回放等简单技术是基础，但无法智能地扩展。超网络和概念嵌入等更复杂的方法支持高阶学习和迁移，但也带来了显著的复杂性和训练不稳定性。未来的成功架构很可能会融合这些方法。
关键参与者与案例研究
构建首个真正具备累积学习能力的智能体的竞赛正在多条赛道上展开：大型AI实验室、企业平台集成以及雄心勃勃的开源项目。
OpenAI 正通过其 GPTs 和 自定义指令 功能推进这一愿景，这些是迈向持久化用户情境的早期步骤。更重要的是，其在基于人类反馈的强化学习方面的研究，正演变为可能从持续交互中学习的系统。虽然还不是一个完整的经验中枢，但随时间推移引导模型行为的能力正指向这个方向。