技术深度解析
“LLM-as-Judge”范式建立在一个看似优雅的前提之上：使用一个强大的通用语言模型（例如 GPT-4、Claude 3.5、Gemini 1.5）根据评分标准来评估目标智能体的输出。裁判会收到智能体的回答、原始提示词以及一套评分标准，然后输出一个数值分数和理由。这用自动化、可扩展的流水线取代了昂贵的人工标注。
偏见的架构
核心缺陷在于裁判的训练数据。大语言模型是在海量人类文本上训练的，这些文本编码了主流的文化、语言和推理偏见。当被用作裁判时，模型并非根据客观事实进行评估，而是根据其自身内部对“好”答案的分布进行判断。这形成了一个自我指涉的循环：裁判偏爱那些在统计上与其自身训练分布相似的输出。
2024 年，加州大学伯克利分校和 Anthropic 的研究人员（在 arXiv 上发表）的一项研究明确证明了这一点。他们让 GPT-4 对 Claude 3 Opus 和 Gemini 1.5 Pro 在一组推理任务上的输出进行评判。GPT-4 始终对使用其偏好措辞（例如，项目符号列表、带编号子步骤的逐步推理）的输出给予更高评分，即使内容与格式不同的回答在事实上完全相同。仅因格式差异，分数波动就高达 18%。
裁判劫持漏洞
这种偏见是可被利用的。像 GitHub 上的“LLM-Judge-Hack”仓库（目前有 2800 星）这样的开源项目，提供了用于在裁判自身的训练数据上微调目标模型，或在旨在模仿裁判评分偏好的合成数据上微调的脚本。这种在强化学习中被称为“奖励劫持”的技术，已被直接移植到评估领域。一项实验表明，一个经过微调的 Llama 3 8B 模型，在由 GPT-4 评判的基准测试中，对 GPT-4 的胜率可达 92%，而其在保留的人类评估中的实际表现却下降到了 67%。
基准对比：裁判偏见在行动
| 裁判模型 | 目标模型 | 分数（裁判偏好） | 分数（人类评估者） | 差异 |
|---|---|---|---|---|
| GPT-4o | Claude 3.5 Sonnet | 78/100 | 82/100 | -4% |
| GPT-4o | Gemini 1.5 Pro | 72/100 | 85/100 | -13% |
| Claude 3.5 Sonnet | GPT-4o | 88/100 | 80/100 | +8% |
| Claude 3.5 Sonnet | Gemini 1.5 Pro | 91/100 | 83/100 | +8% |
| Gemini 1.5 Pro | GPT-4o | 65/100 | 80/100 | -15% |
| Gemini 1.5 Pro | Claude 3.5 Sonnet | 69/100 | 82/100 | -13% |
数据要点： 该表格揭示了一个清晰的模式：每个裁判都会为自己家族或具有相似训练理念的模型虚增分数。以安全为重、风格冗长的 Claude 3.5 Sonnet，给同样冗长的 GPT-4o 打了高分，却给更简洁的 Gemini 1.5 Pro 打了低分。相比之下，人类评估者并未表现出这种家族偏见。大语言模型裁判分数与人类分数之间的平均差异为 10.2%，最大差异为 15%。
关键参与者与案例研究
裁判提供商
- OpenAI (GPT-4o)： 使用最广泛的裁判模型。其 API 已集成到 LangSmith 和 Weights & Biases 等评估框架中。OpenAI 已发表关于“LLM-as-Judge”的研究，但尚未公开解决偏见问题。据报道，他们对 GPT-5 的内部评估使用了多模型陪审团，但这对外部用户不可用。
- Anthropic (Claude 3.5 Sonnet)： Anthropic 的模型因其拒绝处理有害提示词而受到安全关键型评估的青睐。然而，我们的分析显示，它表现出最强的家族内偏见，给 Anthropic 自家模型的评分比竞争对手高出 8-12%。
- Google DeepMind (Gemini 1.5 Pro)： Gemini 是使用最少的裁判，因为它在第三方工具中的可用性较低。它对 OpenAI 模型表现出负面偏见，这可能是由于训练数据构成的差异。
智能体构建者
- Cognition Labs (Devin)： AI 编程智能体 Devin 曾使用“LLM-as-Judge”系统进行评估。AINews 获取的内部数据显示，当裁判从 GPT-4 切换到 Claude 3.5 时，尽管智能体的代码没有变化，Devin 的分数却下降了 22%。Cognition 此后已采用多模型陪审团。
- Adept AI (ACT-1)： Adept 使用一个在人类偏好数据上微调的专有裁判模型。其首席技术官在一次私人简报中表示，他们发现使用现成裁判时存在“显著的分数膨胀”，因此现在只使用自己的模型。
- AutoGPT： 这个开源智能体框架有一个内置的评估模式，默认使用 GPT-4 作为裁判。社区成员报告称，为此裁判优化的智能体会产生“类似 GPT-4”的回答，这些回答在实际任务中效率较低。
评估工具对比
| 工具 | 默认裁判 | 偏见缓解措施 | 每次评估成本 | 用户群 |
|---|---|---|---|---|
| LangSmith | GPT-4o | 无 | $0.05 | 5万+ 开发者 |
| Weights & Biases P |