技术深度解析
“故障关闭执行门”（FCEG）并非模型层面的修改，而是一种架构模式，位于智能体的推理引擎与执行环境之间。其核心实现了三个组件：
1. 置信度估计器：一个辅助性的轻量级模型（通常是蒸馏分类器或校准后的不确定性量化器），在执行前评估智能体的输出。这与LLM的softmax概率不同，后者以校准不良而臭名昭著。相反，蒙特卡洛丢弃法、集成分歧或共形预测等技术被用来产生可靠的置信度分数。例如，加州大学伯克利分校研究人员2024年的一篇论文证明，共形预测集能以最小的计算开销实现覆盖保证（例如，90%置信度认为真实答案在集合内）。
2. 确定性规则引擎：一组不可变、硬编码的规则，定义了“禁区”。这些规则并非学习而来，而是由人类操作员编写。典型规则包括：“未经二次确认，绝不执行DELETE操作”、“单笔转账金额不得超过10,000美元”、“绝不调用不在白名单上的API端点”。规则引擎被编译成二进制文件，运行时无法修改，确保即使智能体被攻破，规则依然有效。
3. 断路器：最后的门。如果置信度估计器返回的值低于阈值（例如0.75），或者行动违反了任何确定性规则，断路器就会触发。它会记录事件、发送警报并阻止执行。然后可以指示智能体重构其计划或升级给人类。这类似于电气系统中的保险丝——它牺牲当前操作以保护整体。
值得关注的GitHub仓库：
- LangChain的'Guardrails'（25k+星标）：实现了一个基于规则的验证层，可适配用于FCEG。最近的提交增加了使用熵阈值的“置信度门”。
- NVIDIA的'NeMo Guardrails'（10k+星标）：提供可编程的护栏，能强制执行确定性规则。'colang'语言允许定义在执行前必须完成的“流程”。
- OpenAI的'Evals'（15k+星标）：虽然不是门，但它提供了一个衡量置信度校准的框架，这对设置阈值至关重要。
性能权衡：
| 系统 | 延迟开销 | 误报率 | 漏报率 | 设置复杂度 |
|---|---|---|---|---|
| 无门（基线） | 0% | 0% | 100%（无保护） | 低 |
| 软警告（事后） | +5% | 10% | 30% | 中 |
| FCEG（置信度+规则） | +15-25% | 5% | 2% | 高 |
| 完全人在回路 | +300% | 0% | 0% | 非常高 |
数据要点：FCEG在安全性与自主性之间提供了最佳平衡，将漏报率（未检测到的危险行动）降至2%，同时仅增加15-25%的延迟。这对大多数企业工作流来说是可接受的，而完全人在回路方式在大规模应用中不切实际。
关键参与者与案例研究
FCEG概念正被多个参与者积极开发，各有侧重：
- Anthropic：他们的“Constitutional AI”方法在哲学上一致，但在模型层面运作。他们尚未公开发布确定性门，但其“机制可解释性”研究可能提供所需的置信度估计器。他们的Claude 3.5 Sonnet模型，当与“Tool Use”API一起使用时，与GPT-4相比，幻觉工具调用减少了40%，但仍存在边缘情况。
- Google DeepMind：他们的“Sparrow”智能体（2023年）使用基于规则的“搜索”模块在行动前验证事实主张。最近，他们的“Gemini 1.5 Pro”包含一个“安全分类器”，可用作门。然而，它尚未作为独立API向第三方智能体开放。
- 初创公司：
- Guardian AI（隐形模式，2025年融资1500万美元）：正在构建一个专用的FCEG中间件，可插入任何LLM API。声称在beta测试中检测危险API调用的准确率达99.7%。
- Safurai（开源，8k星标）：一个VS Code扩展，为代码生成智能体实现了本地FCEG。阻止任何使用不安全函数（eval、exec）或置信度低的代码。
| 公司/产品 | 方法 | 置信度估计方法 | 规则引擎 | 当前状态 |
|---|---|---|---|---|
| Anthropic (Constitutional AI) | 模型级微调 | 自我批评（RLHF） | 隐式（宪法） | 生产 |
| Google DeepMind (Sparrow) | 基于搜索的验证 | 事实一致性检查 | 显式（搜索规则） | 研究 |
| Guardian AI | 中间件 | 共形预测 | 确定性（YAML） | Beta |
| Safurai | IDE插件 | 熵阈值 | 确定性（正则表达式） | 开源 |
数据要点：市场是碎片化的。Anthropic在模型级安全方面领先，但Guardian AI