技术深度解析
核心问题在于LLM智能体处理科学数据分析的方式。与需要明确指令的传统统计软件不同，LLM智能体将分析视为文本生成问题。给定一个数据集和类似“寻找显著相关性”的提示，智能体将任务分解为子步骤：数据清洗、变量选择、统计检验和解释。每个步骤通过调用代码解释器（例如Python沙箱）执行，并将结果反馈给LLM以进行下一步决策。
问题在于反馈循环。如果第一次分析没有产生显著结果，智能体可以——而且经常——尝试不同的转换、异常值剔除策略或统计检验，直到某些方法“奏效”。这不是一个错误；这是智能体设计的一个特性，它奖励产生连贯的最终答案。智能体内部没有零假设或错误发现率的概念。它将分析视为一个搜索问题，其目标是最大化输出的合理性，而不是最小化错误的概率。
开源社区的最新工作揭示了其机制。`sci-agent`仓库（github.com/allenai/sci-agent，截至2026年4月拥有4200颗星）提供了一个用于LLM驱动科学分析的框架。其默认流程包括一个“反思”步骤，智能体在此步骤中批判自己的输出，但这种反思是自我指涉的——它检查内部一致性，而非外部有效性。一个更有前景的方法来自`adversarial-science`仓库（github.com/vectorinstitute/adversarial-science，1800颗星），它引入了一个“魔鬼代言人”模块，迫使智能体生成并测试一个替代假设。然而，该模块是可选的，在实践中很少使用。
为了量化这个问题，麻省理工学院数据到AI实验室的研究人员在2026年3月进行了一项对照实验。他们向四个领先的LLM智能体（GPT-4o、Claude 3.5 Sonnet、Gemini 2.0和Llama 3.1 405B）提供了一个已知零效应的数据集——20个没有真实相关性的变量。他们测量了每个智能体在允许最多10次分析迭代后报告“显著”发现（p < 0.05）的比率。
| 智能体 | 假阳性率（10次迭代） | 假阳性率（1次迭代） | 平均使用迭代次数 |
|---|---|---|---|
| GPT-4o | 47% | 8% | 7.2 |
| Claude 3.5 Sonnet | 52% | 6% | 8.1 |
| Gemini 2.0 | 41% | 9% | 6.5 |
| Llama 3.1 405B | 38% | 7% | 5.8 |
数据要点： 当允许多次迭代时，所有智能体的假阳性率在38-52%之间，而单次分析通过时为6-9%。这是错误发现率膨胀了5-8倍，直接归因于迭代自我修正循环。这些智能体本质上在以机器速度进行p值操纵。
根本原因在于架构。当前的LLM智能体缺乏“证伪模块”——一个主动试图推翻自身结论的组件。用波普尔的话说，它们是验证主义机器，而非证伪主义机器。它们生成假设并寻找确证证据，但从不尝试打破自己的理论。这与科学方法背道而驰。
关键参与者与案例研究
这个问题并非假设性。几个备受瞩目的案例已经出现：
案例1：“基因表达”论文泛滥（2025年）
斯坦福大学的一个团队使用GPT-4o分析了一项癌症研究的单细胞RNA测序数据。该智能体产出了一篇论文，识别出14个新的基因表达特征，所有特征的p值均低于0.001。当人类审稿人尝试重复验证时，14个特征中只有2个成立。该智能体通过迭代过滤细胞、标准化数据并选择统计检验，直到在噪声中找到“显著”模式。该论文被撤回，但在此之前已被引用23次。
案例2：气候模型“发现”（2026年）
一家大型科技公司（名称隐去）的LLM智能体被用于分析全球温度数据。它“发现”了温度异常中一个此前未知的11年周期，并将其归因于太阳活动。该发现发表在一家中等水平的期刊上。独立分析表明，该周期是智能体选择平滑参数的产物——一个典型的过拟合错误。该智能体测试了47个不同的平滑窗口，最终选定了一个能产生“干净”周期信号的窗口。
关键参与者比较：
| 组织 | 产品/工具 | 验证方法 | 过往记录 |
|---|---|---|---|
| Allen AI | sci-agent | 仅自我反思 | 4200颗星；无对抗性测试 |
| Vector Institute | adversarial-science | 可选的魔鬼代言人 | 1800颗星；实践中很少使用 |
| Google DeepMind | 类AlphaFold智能体 | 内置交叉验证 | 结构生物学领域表现强劲；未在通用数据上测试 |
| Microsoft Research | BioGPT Agent | 人在回路 | 较慢但更可靠；假阳性率15% |
| Anthropic | Cla