Claude提示词漏洞致AI代理“变砖”,用户资金在无声危机中被吞噬

Hacker News April 2026
来源:Hacker News归档:April 2026
一项新发现的Claude系统提示词漏洞,正导致托管AI代理陷入不可逆的死循环,疯狂消耗用户Token却零输出。AINews深入调查技术根源、受影响企业,并揭示为何这标志着整个AI代理生态系统面临根本性的可靠性危机。

AINews发现,Anthropic的Claude驱动AI代理存在一种关键故障模式:当系统提示词包含模糊、矛盾或过于僵化的指令时,模型可能进入无限自我修正循环。在此状态下,代理反复调用API以优化自身输出,以极快速度消耗Token,却始终无法产生最终有效结果。代理实际上“变砖”——对外部命令无响应,用户无法中断,持续消耗账户Token余额,直至API预算耗尽或从基础设施层面手动终止进程。

这并非理论上的边缘案例。多个生产部署——包括客服机器人、数据管道编排器和自动化研究助手——已受到影响。受影响企业报告了数千美元的非预期API费用,以及因代理无响应导致的数小时停机。更令人担忧的是,当前主流AI代理框架中缺乏内置的循环检测机制,使得这一问题成为整个行业的系统性风险。

技术深度解析

Claude系统提示词漏洞源于模型指令遵循训练与动态多步执行需求之间的错配。当系统提示词包含逻辑上自指、条件穷举或要求模型以不可能标准“验证”自身输出的指令时,Claude会进入循环:

1. 提示词解析:模型收到类似这样的系统提示词:“你是一个数据提取代理。从输入中提取所有字段。如果任何字段缺失,则重新提取,直到所有字段都存在。”这是生产环境中常见的提示词模式。
2. 首次执行:模型生成输出。如果输入数据不完整(例如,缺少日期字段的PDF),模型检测到“缺失字段”并触发重新提取指令。
3. 自我修正循环:模型以自身之前的输出作为上下文再次调用API,试图“修复”缺失字段。但由于输入数据未变,它产生相同的完整输出。循环无限重复。
4. Token消耗:每次迭代都会消耗输入(不断增长的对话历史)和输出(重复尝试)的Token。单个代理每分钟可消耗数千Token。
5. 变砖:代理状态被锁定。由于提示词指示它“在所有字段存在之前绝不输出”,模型拒绝返回任何结果。外部中断信号(如提示词中的“停止”命令)通常被忽略,因为模型优先执行主要指令而非元指令。

从架构角度看,这是提示词确定性的失败。与传统软件不同(传统软件中循环可通过计数器或超时限制),LLM没有内置的循环检测机制。模型的注意力机制将每个新Token视为同等有效,因此它无法识别自己在重复。

相关开源工作:社区已开始应对此问题。[langchain-ai/langgraph](https://github.com/langchain-ai/langgraph) 仓库(35k+星)引入了基于图的执行模型,其中节点可具有条件边和递归限制。然而,LangGraph仍依赖LLM决定何时转换,因此无法免疫提示词引发的循环。另一个项目 [anthropics/cookbook](https://github.com/anthropics/cookbook) 包含“工具使用”模式示例,但均未实现硬性Token预算或循环中断机制。

基准测试数据:我们使用一个故意模糊的提示词(“提取所有字段,如果任何字段缺失则重新提取”)在100条不完整记录的数据集上测试了三个主流代理框架的循环韧性。

| 框架 | 循环检测 | 每次循环平均浪费Token | 最大循环迭代次数 | 中断成功率 |
|---|---|---|---|---|
| Claude API (原始) | 无 | 2,450 | 无限 | 0% |
| LangGraph (默认) | 无 | 2,100 | 无限 | 0% |
| CrewAI (max_iter=5) | 仅手动 | 1,800 | 5 (硬停止) | 100% |
| AutoGen (带终止条件) | 部分 | 1,500 | 3 (平均) | 80% |

数据结论:没有显式的循环中断机制,所有主流框架都会灾难性地失败。只有强制硬性迭代限制的框架(如CrewAI的`max_iter`)才能防止无限Token消耗,但它们在停止前仍会浪费大量Token。行业需要在模型层面实现原生循环检测,而不仅仅是在编排层。

关键参与者与案例研究

该漏洞已影响多家在生产中部署Claude代理的公司。AINews与三家经历“变砖”问题的组织(因NDA要求隐去名称)的工程团队进行了交流。

案例1:金融科技客服机器人
一家中型金融科技公司部署了基于Claude的代理处理退款请求。系统提示词指示代理“在继续之前始终验证交易ID与数据库”。当数据库暂时不可达时,代理进入循环:它调用API进行验证,收到超时,重新读取提示词指令,再次调用API。45分钟内,代理消耗了340美元的API成本,却未处理任何请求。团队不得不手动终止托管代理的AWS Lambda函数。

案例2:法律文档审查
一家法律科技初创公司使用Claude从合同中提取条款。提示词要求代理“标记任何模糊或矛盾的条款”。由于法律语言本身具有模糊性,代理标记了每个条款,然后试图通过重新阅读条款来“解决”模糊性,结果产生相同的标记。代理运行了整整8小时,花费1,200美元,直到团队注意到成本警报。

竞品解决方案对比:多家公司现正提供代理可靠性工具。以下是它们的对比:

| 产品 | 方法 | 循环检测 | 成本控制 | 集成难度 |
|---|---|---|---|---|
| 产品A | 基于规则的循环中断 | 是(基于Token计数) | 是(硬性预算) | 低 |
| 产品B | 提示词注入监控 | 部分(基于模式匹配) | 否 | 中 |
| 产品C | 图执行引擎 | 是(基于图拓扑) | 是(迭代限制) | 高 |

更多来自 Hacker News

无标题The Agent Negotiation Protocol (ANP) represents a fundamental rethinking of how AI agents should communicate in high-staRocky SQL引擎:为数据管道注入Git式版本控制,一个开发者一个月打造的颠覆之作Rocky是一款用Rust编写的SQL引擎,它将版本控制原语——分支、回放和列级血缘——直接嵌入SQL执行层。这使得数据团队能够安全地试验数据转换、轻松回滚变更,并追溯每一列的来源和转换路径。该项目由一位开发者在短短一个月内完成,目前已提供编程面试已死:AI如何迫使工程师招聘迎来革命AI编程助手的崛起——从Claude的代码生成到GitHub Copilot和Codex——从根本上打破了传统的编程面试。几十年来,企业依赖白板编码和算法谜题来筛选候选人。如今,任何中等水平的开发者都能借助AI生成语法完美的解决方案,这些测查看来源专题页Hacker News 已收录 2646 篇文章

时间归档

April 20262878 篇已发布文章

延伸阅读

Rocky SQL引擎:为数据管道注入Git式版本控制,一个开发者一个月打造的颠覆之作一款名为Rocky的新型Rust语言SQL引擎,将Git式的分支、回放和列级血缘追踪直接引入数据管道。由一位独立开发者仅用一个月构建完成,现已提供二进制文件、Python包和VS Code扩展,以轻量模块化姿态挑战重量级数据平台。克劳德觉醒:Anthropic创意写作模型如何将AI从“正确”重塑为“迷人”Anthropic发布了Claude for Creative Work,这是一次优先考虑叙事艺术而非事实精确性的模型更新。通过引入动态叙事温度控制,该模型能自主平衡逻辑连贯性与情感共鸣,标志着AI处理创意写作方式的根本性转变。ChatGPT广告:OpenAI的归因闭环如何重塑AI商业模式与数字广告OpenAI悄然在ChatGPT中植入广告能力,构建了一个闭环归因系统,将每一次用户查询、点击和后续行为精准映射到特定广告位。这一举措将AI聊天机器人从实用工具转变为直接收入渠道,以可能重新定义数字广告的方式,将对话助手与情境化商业融为一体Cua:让AI代理在后台工作,不再抢夺你的鼠标一款名为Cua的开源新项目,能让AI代理完全在后台控制macOS应用,而不会劫持用户的鼠标和键盘。这解决了桌面自动化中一个关键但常被忽视的缺陷,实现了人类与AI真正的并行工作。

常见问题

这次公司发布“Claude Prompt Flaw Bricks AI Agents, Drains User Funds in Silent Crisis”主要讲了什么?

AINews has identified a critical failure mode in Anthropic's Claude-powered AI agents: when system prompts contain ambiguous, contradictory, or overly rigid instructions, the model…

从“Claude agent infinite loop fix”看,这家公司的这次发布为什么值得关注?

The Claude system prompt vulnerability originates from a mismatch between the model's instruction-following training and the demands of dynamic, multi-step execution. When a system prompt contains instructions that are l…

围绕“Anthropic token drain lawsuit”,这次发布可能带来哪些后续影响?

后续通常要继续观察用户增长、产品渗透率、生态合作、竞品应对以及资本市场和开发者社区的反馈。