技术深度解析
Guardians基于一个核心洞察：AI智能体工作流尽管具有动态特性，但可以建模为具有明确定义转换的有限状态机。该框架拦截智能体的计划——一系列工具调用、条件分支和状态更新——并将其转换为适合静态分析的形式化表示。然后，该表示会针对一组不变量进行检查：没有权限不足的工具调用、没有状态变量超出定义边界、没有工具链中的循环依赖、没有不可达的代码路径。
架构由三个层次组成：
- 规范层：开发者使用一种声明式DSL（领域特定语言）定义安全属性，该语言类似于TLA+，但针对智能体工作流进行了定制。属性包括每个工具的前置条件和后置条件、状态不变量（例如，“余额必须始终为非负”）以及时序逻辑约束（例如，“支付后必须发送确认”）。
- 模型提取层：Guardians解析智能体的编排代码——无论是用LangChain、CrewAI还是自定义Python编写——并构建一个附加状态变量的控制流图。此步骤通过将未知分支视为非确定性选择来处理动态工具选择，确保分析覆盖所有可能的执行路径。
- 验证引擎：使用SAT求解器（具体来说，是微软研究院的Z3），该引擎检查是否有任何执行路径违反了指定的不变量。如果发现违规，它会生成一个反例轨迹，精确显示智能体将如何达到不安全状态。这类似于Rust的借用检查器在编译时防止内存错误的方式。
一个关键创新是Guardians对LLM生成代码的处理。由于智能体的决策依赖于底层模型输出的自然语言，Guardians无法假设确定性行为。相反，它使用一种称为“抽象解释”的技术对LLM的可能输出进行过近似：对于任何决策点，它都会考虑LLM基于提示和工具描述可能合理采取的所有分支。这种保守方法确保不会遗漏任何安全违规，尽管可能会产生需要开发者优化的误报。
该框架可在GitHub上以仓库'guardians-ai/guardians'获取，自三个月前首次发布以来，已获得超过4200颗星和340个分支。该项目用Rust编写以保证性能，并带有Python绑定以便轻松集成到现有智能体框架中。早期基准测试显示，验证一个典型的多步骤智能体工作流（10-15次工具调用、5个状态变量）在标准笔记本电脑上不到2秒即可完成，使其适合集成到CI/CD流水线中。
| 验证指标 | Guardians (v0.3) | 运行时测试 (基线) | 改进倍数 |
|---|---|---|---|
| 死锁检测 | 100% (运行时前) | 72% (1000次运行后) | 1.39倍 |
| 状态溢出检测 | 98% | 45% | 2.18倍 |
| 权限违规检测 | 100% | 61% | 1.64倍 |
| 平均错误检测时间 | 0.8秒 | 4.2分钟 (运行时) | 315倍 |
| 误报率 | 12% | 0% | 不适用 (不同方法论) |
数据要点： Guardians在任何代码运行前即可实现对死锁和权限违规等结构性错误的近乎完美检测，与运行时测试相比，检测时间减少了315倍。12%的误报率是为完整性付出的代价，但该框架提供的反例轨迹使调试变得简单直接。
关键参与者与案例研究
Guardians由一支前剑桥大学和DeepMind的研究团队创建，由曾从事自动驾驶汽车形式化验证工作的Elena Voss博士领导。该项目吸引了来自Anthropic、微软和谷歌等公司工程师的贡献，反映了业界对智能体安全的广泛兴趣。
多家组织已将Guardians集成到其生产流水线中：
- Finova，一家处理超过20亿美元日交易量的金融科技初创公司，使用Guardians验证其交易智能体工作流。该框架捕获了一个关键的状态不一致问题，即智能体可能在特定市场条件下重复执行卖出订单，这个漏洞曾躲过了200多小时的运行时测试。Finova报告称，采用Guardians后，部署后事件减少了90%。
- MediAssist，一家为临床决策支持部署AI智能体的健康科技公司，使用Guardians强制执行HIPAA合规规则。该框架确保没有智能体工作流在未经适当授权的情况下访问患者数据，并且所有数据访问都被记录。MediAssist的首席技术官指出，Guardians的审计追踪已成为医院采购讨论中的关键卖点。
- CloudOps Inc.，一家自动化基础设施提供商，将Guardians集成到其云管理智能体中，以防止配置漂移和权限升级攻击。该框架在部署前标记了多个高危路径，其中智能体可能意外授予对敏感资源的广泛访问权限。