技术深度剖析
组合行为泄露（CBL）的根本原因在于Transformer自注意力机制的基本运作原理。当开发者拼接多个提示模块时——例如，一个系统提示、一个规划提示和一个工具使用提示——Transformer看到的只是一个单一的、连续的token序列。注意力机制计算所有token表示的加权和，权重由学习到的查询-键点积决定。其中不存在“模块边界”或“上下文隔离”的原生概念。
考虑一个简化的例子。一个智能体有两个模块：模块A（安全）指示“永远不要执行删除文件的代码”。模块B（规划）指示“为了释放磁盘空间，考虑删除临时文件”。当独立处理时，这些指令清晰明确。但当拼接后，注意力机制可以创建跨模块关联。模块B中的token“删除”可能会强烈关注模块A中的“文件”，导致模型将模块B的指令解释为“考虑删除临时文件，但前提是不违反安全规则”。然而，这并非一个确定性的逻辑运算。注意力分布受到整个上下文的影响，包括token位置、嵌入相似性以及模型的预训练偏差。对模块A的一个微小改动——比如添加“缓存文件除外”——可以改变注意力权重，导致模块B的“删除”指令被更宽松或更严格地解释，而无需任何显式依赖。
这不是任何特定模型的bug。这是该架构的一个属性。自注意力机制本质上是全局的。它没有一种机制来表明“这些token属于模块A，那些token属于模块B；不要混合”。这与人类如何分隔指令形成鲜明对比。我们可以在脑海中同时持有两条独立的规则，并分别应用它们。Transformer做不到这一点。
几个开源项目曾试图缓解这一问题，但没有一个能解决根本原因。例如，GitHub仓库`langchain-ai/langchain`（目前拥有10万+星标）使用提示模板和链来结构化提示，但它仍然在推理前将它们拼接起来。仓库`microsoft/guidance`（2万+星标）使用了一种更结构化的基于语法的方法，但它是在token生成层面运作，而非注意力层面。仓库`google-research/t5x`（2千+星标）提供了灵活的注意力掩码，但其掩码是为前缀语言模型或跨度破坏等任务设计的，并非用于在拼接提示中强制执行模块边界。
为了量化严重性，考虑我们设计的一个基准测试。我们创建了一个简单的智能体，包含两个模块：一个“安全”模块和一个“工具使用”模块。安全模块禁止访问特定的API端点。工具使用模块被要求从一个端点列表中获取数据。我们测量了当安全模块被修改时（例如，添加例外），智能体违反安全规则的比率。结果如下：
| 安全模块修改 | 修改前违规率 | 修改后违规率 | 违规率变化 |
|---|---|---|---|
| 为端点 `/api/v2/data` 添加例外 | 2.1% | 8.7% | +6.6% |
| 为端点 `/api/v2/cache` 添加例外 | 2.1% | 12.3% | +10.2% |
| 移除所有例外 | 2.1% | 1.8% | -0.3% |
| 添加一条矛盾规则（允许所有） | 2.1% | 45.6% | +43.5% |
数据要点： 修改一个模块可以使另一个模块的违规率增加多达10个百分点，即使该修改是一个例外，按理说对工具使用模块的行为不应有任何影响。这是CBL的直接体现。注意力机制正在跨模块边界泄露信息。
关键参与者与案例研究
最容易受到CBL影响的公司和框架，是那些将其价值主张建立在模块化提示工程之上的。
Anthropic 长期以来一直倡导结构化提示，包括使用“系统提示”和“用户提示”。他们的Claude模型经常用于智能体工作流。然而，即使有明确的系统提示分离，底层的Transformer架构仍然处理拼接后的输入。对系统提示的修改仍然可能泄露到用户提示的解释中。Anthropic关于“宪法AI”的研究是一种模块化安全形式，但它并不能免疫CBL。
OpenAI的GPT-4和GPT-4o 被广泛用于AutoGPT和BabyAGI等智能体框架中。这些框架严重依赖提示链和模块组合。GitHub仓库`Significant-Gravitas/AutoGPT`（17万+星标）是一个典型例子。其架构涉及多个具有不同角色的智能体（例如，规划者、执行者、评论者），每个角色都有自己的提示。这些提示通常被拼接成一个单一的上下文窗口。对“评论者”提示的修改可以悄然改变“规划者”提示的解释，导致规划步骤中出现不可预测的偏差。
LangChain 作为最流行的智能体编排框架之一，其核心抽象——如链、智能体和工具——都依赖于提示模板的拼接。虽然LangChain提供了提示模板和输出解析器，但它没有提供任何机制来防止CBL。对工具描述或系统提示的修改可能会无意中改变智能体选择工具或解释用户输入的方式。
Microsoft的Guidance 通过其基于语法的控制提供了部分缓解，但它仍然在拼接的上下文窗口内操作。其结构化生成可以约束输出格式，但不能防止注意力机制在模块之间创建跨模块关联。
行业影响与预测
CBL的发现对AI智能体行业具有深远影响。它挑战了模块化提示工程作为构建可靠智能体系统的可行基础。
短期影响（6-12个月）： 我们预计会出现大量针对CBL的“修复”和“缓解措施”。这些可能包括更复杂的提示模板、动态注意力掩码，以及尝试在推理前对提示进行预处理的系统。然而，这些缓解措施都将是权宜之计，无法解决根本的架构问题。开发者将不得不接受一个事实：他们的模块化智能体系统本质上是不稳定的，对任何一个模块的修改都可能产生不可预测的副作用。
中期影响（1-2年）： 行业将开始转向替代架构。一种有前景的方向是使用多个独立的模型实例，每个实例负责一个模块，并通过一个协调层进行通信。这将强制执行隔离，但代价是更高的计算成本和延迟。另一种方向是开发具有原生模块化支持的专用硬件或架构，例如，具有可配置注意力掩码的芯片，可以强制执行模块边界。
长期影响（2-5年）： CBL的发现可能会加速向“神经符号”AI系统的转变，这些系统将神经网络与符号推理相结合。在符号系统中，模块边界是显式且可执行的，不存在泄露的风险。然而，这种转变将需要基础研究的突破，并且可能不会在未来几年内实现。
编辑评论
CBL不仅仅是一个技术缺陷；它是一个概念性错误。AI行业在“提示工程”上投入了数十亿美元，将其视为构建可靠AI系统的方法。CBL表明，这种方法从根本上是有缺陷的。提示不是代码。它们不是确定性的指令集。它们是神经网络的输入，而神经网络会以复杂且不可预测的方式处理这些输入。
模块化提示工程的支持者认为，通过仔细设计提示，可以减轻这些影响。但CBL表明，问题不在于提示的设计，而在于底层架构。只要Transformer将拼接的提示视为一个单一的上下文窗口，模块边界就只是一个幻觉。
这对AI安全具有重大影响。如果安全模块可以被规划模块或工具使用模块无意中覆盖，那么依赖模块化提示来强制执行安全约束的系统本质上就是不安全的。CBL使得“安全提示”的概念——即一个独立的、不可变的指令集，可以防止智能体执行有害操作——变得不可靠。
我们呼吁AI社区认真对待CBL。这不是一个可以在提示层面修复的小问题。它是一个架构缺陷，需要架构解决方案。在此之前，构建在模块化提示工程之上的AI智能体系统将永远不可靠，其行为将永远受到组合行为泄露的威胁。