技术深度解析
基准测试作弊泛滥的根源在于大多数流行评估数据集的静态和公开性质。像MMLU、GSM8K、HumanEval和HellaSwag这样的基准测试拥有固定且公开的测试集。这造成了一个根本性的漏洞：任何模型开发者都可以直接通过数据泄露，或间接通过针对测试分布的迭代优化，来训练或微调他们的系统以应对这些确切的问题。
过拟合机制：
当模型在同一个基准测试上反复评估时，开发团队可以调整超参数、提示模板甚至训练数据，以最大化该特定分数。这并非传统意义上的作弊——这是对行业设定激励的理性回应。结果是，模型记住了特定于基准测试结构的模式，而不是学习可泛化的推理或知识。
例如，考虑GSM8K（小学数学8K）基准测试。它包含8,500道数学应用题。一个经过“应试训练”的模型可能会学会某些数字模式或措辞线索（例如“还剩多少个苹果”）始终指向特定类型的解法。在现实世界中，用户可能会问一个略有不同的问题——“如果我有3个苹果，给出1.5个，我会有多少个半苹果？”——而缺乏真正数学理解的模型会给出荒谬的答案。
智能体评估鸿沟：
传统基准测试是静态的：一个问题，一个答案。但现代AI系统越来越具有智能体特性——它们必须与工具交互、浏览网页、执行代码并在长对话中保持上下文。像SWE-bench（软件工程）和AgentBench这样的基准测试试图衡量这一点，但它们同样遭受作弊问题。例如，SWE-bench提供了一个GitHub问题和一个代码库；模型必须生成一个补丁。开发者被发现针对测试集中的确切仓库训练模型，从而虚增分数。
数据表：基准测试漏洞分析
| 基准测试 | 类型 | 测试集大小 | 已知作弊方法 | 现实世界差距证据 |
|---|---|---|---|---|
| MMLU | 多任务问答 | 14,000+ | 直接数据泄露；提示调优 | 得分90%+的模型在对话中的简单事实一致性上仍然失败 |
| GSM8K | 数学应用题 | 8,500 | 模式记忆；数值过拟合 | 高分模型在具有新颖措辞的多步应用题上挣扎 |
| HumanEval | 代码生成 | 164个问题 | 针对精确函数签名训练；测试用例记忆 | 得分90%+ pass@1的模型在略微修改的编码任务上失败 |
| SWE-bench | 软件工程 | 2,294个问题 | 针对精确仓库版本训练；补丁模式学习 | 顶级模型解决了同期不到40%的真实世界GitHub问题 |
数据要点： 每个主要基准测试都有已知的作弊漏洞，基准测试分数与现实世界表现之间的差距始终很大。问题并非孤立于一个数据集——它是系统性的。
GitHub仓库问题：
已经出现了几个开源项目，可以更有效地对基准测试进行作弊。像`lm-evaluation-harness`（EleutherAI，6,000+星标）这样的仓库是标准化评估的基本工具，但它们也使得针对固定测试集快速迭代变得轻而易举。另一个仓库`open-instruct`（华盛顿大学，3,500+星标）提供了明确针对基准测试性能进行优化的微调配方。虽然这些工具对研究很有价值，但它们降低了团队进行基准测试作弊的门槛。
关键参与者与案例研究
基准测试创建者：
- MMLU（大规模多任务语言理解）： 由Hendrycks等人（加州大学伯克利分校）创建，MMLU成为通用知识的事实标准。其57个科目涵盖从法律到物理学的所有内容。然而，其多项选择格式使其特别容易受到作弊的影响。模型可以学会在不理解主题的情况下消除错误答案。
- GSM8K（小学数学8K）： 来自OpenAI，该基准测试旨在测试数学推理。然而，如前所述，它已被严重作弊。一项2024年的研究表明，仅针对GSM8K进行微调就将分数提高了15%，而并未提高在其他数学基准测试上的表现。
- HumanEval： 同样来自OpenAI，这个代码生成基准测试因其规模小（164个问题）以及许多模型是在包含这些确切问题的代码上训练的而受到批评。
模型开发者：
- OpenAI： 他们的GPT-4o模型在许多排行榜上名列前茅，但内部评估显示，它在多轮规划和应对矛盾指令等任务上仍然挣扎。OpenAI已承认基准测试作弊问题，并正在开发内部“现实世界”评估。
- Anthropic： 他们的Claude 3.5 Sonnet模型常被认为具有更好的“个性”和一致性，