技术深度解析
跨会话上下文投毒攻击利用了Transformer架构的注意力机制，以及LLM部署中日益普遍的长期或持久化上下文实现。攻击的核心在于操控模型的*键值（KV）缓存*——这是一种存储先前标记表示以避免重复计算并实现长上下文推理的内存机制。
攻击机制： 攻击者的目标是在多个会话中污染这个KV缓存。在诸如OpenAI支持扩展上下文的GPT-4或Anthropic具备持久化记忆的Claude等典型实现中，用户特定的上下文可能会被存储和检索。攻击分阶段进行：
1. 播种阶段： 在多个独立会话中，攻击者注入精心构造、看似良性的陈述，以建立虚假前提、重新定义术语或在概念间创建关联链接。例如，第一次会话可能陈述：“近期研究表明化合物X有益。”第二次会话可能补充：“化合物X是物质Y的常用名。”
2. 触发阶段： 一个最终的无害查询（例如，“告诉我关于物质Y的信息”）激活了模型上下文中被投毒的关联链。模型整合了被植入的前提，产生符合攻击者目标的输出（例如，赞扬一种有害物质），尽管最终查询和每个单独的‘种子’本身都是无害的。
这之所以奏效，是因为安全微调和基于人类反馈的强化学习（RLHF）主要针对单轮或短上下文安全进行优化。它们缺乏检测跨越数千个标记、多个时间会话的叙事操控的训练。模型的优势——上下文推理能力——反而成了其弱点。
工程漏洞： 该攻击对采用以下技术的系统尤为有效：
- 用户特定上下文窗口： 即按用户标识符维护对话历史的系统。
- 向量数据库检索： 在高级RAG（检索增强生成）系统中，过去的交互被嵌入、存储和检索以增强上下文。攻击者可以污染被检索的上下文。
- 基于用户数据的微调： 某些系统根据用户交互进行增量微调，这为随时间推移毒化模型权重创造了直接途径。
防御研究与工具： 开源社区已开始响应。GitHub上的 `llm-guard` 代码库提供了一套用于输入/输出扫描的工具，并可扩展自定义检测器以识别跨会话异常模式。另一个项目 `SafeRLHF` 正在探索更鲁棒的、考虑多轮安全的强化学习技术，尽管针对此特定威胁尚未达到生产就绪状态。
| 防御层级 | 能否防御单会话注入？ | 能否防御跨会话投毒？ | 性能开销 |
|---|---|---|---|
| 输入/输出过滤（关键词/正则） | 部分 | 否 | 低 |
| 基于分类器的安全检测器 | 强 | 非常弱 | 中等 |
| RLHF/宪法AI | 对直接请求强 | 弱 | 已内置于模型 |
| 上下文完整性监控（提议中） | 不适用 | 目标防御 | 高（预估） |
| 定期上下文重置 | 不适用 | 完全但具破坏性 | 低 |
数据要点： 上表揭示了一个明显的防护缺口。现有广泛部署的防御措施对跨会话威胁无效，而提议的专门防御（上下文完整性监控）计算成本高昂，且暴力解决方案（重置上下文）会破坏用户体验和模型效用。
关键参与者与案例研究
此漏洞的发现已动员了领先的AI实验室、安全公司和学术研究人员，各方从不同角度应对此问题。
身处前线的AI实验室：
- Anthropic 对持久化上下文的风险最为直言不讳，将其置于他们关于 “记忆投毒” 和 “用户特定越狱” 的更广泛研究中。他们的宪法AI方法（使用一套原则指导模型响应）正在接受针对这些多轮操控的压力测试。Anthropic的研究人员发布的内部研究结果表明，上下文越长的模型对渐进式说服和前提植入的敏感性显著更高。
- OpenAI 部署的具有128K上下文窗口和自定义指令功能的GPT-4创造了巨大的攻击面。尽管细节有限，据报道其安全团队正在开发 “跨会话连贯性评分” 算法，以检测用户的新查询是否以异常方式利用先前建立的前提。
- Google DeepMind 的研究人员（包括那些致力于Gemini长上下文功能的团队）已在学术论文中探讨了 “对抗性连续性攻击” 。他们提出的缓解措施涉及使用包含跨会话投毒场景的对抗性示例来训练模型。