技术深度剖析
大语言模型在作文评分上的失败，根植于其架构设计与训练目标的错配。GPT-4、Claude 3、Gemini等模型本质上是基于互联网规模语料训练的下一个词元预测器。其优化目标——预测最可能出现的下一个词——与人类专家评分者的认知过程截然不同。
人类评分者运用教育心理学家所称的“整体性评分法”，即同步考量论证结构、证据质量、修辞效果、写作声音及读者意识等多重维度。这需要递归式阅读：评分者会反复回溯文本段落，追踪逻辑脉络并评估连贯性。相比之下，大语言模型通过固定上下文窗口（通常最大128K词元）处理文章，使用注意力机制权衡词元关系，但缺乏真正的递归推理能力。
近期基准研究量化了这一差距。斯坦福大学教育学院研究人员开发的Automated Essay Scoring Discrepancy (AESD) Corpus，包含五种文体（说服性、分析性、叙事性、描述性、说明性）共2500篇作文，收录了15位人类专家评分者的分数及六大主流模型的AI评估结果。
| 模型 | 架构 | 与人类评分平均相关性（全文体） | 说服性文章相关性 | 叙事性文章相关性 |
|---|---|---|---|---|
| GPT-4o | Transformer (MoE) | 0.42 | 0.38 | 0.51 |
| Claude 3.5 Sonnet | Transformer | 0.45 | 0.41 | 0.53 |
| Gemini 1.5 Pro | Transformer (MoE) | 0.39 | 0.36 | 0.48 |
| Llama 3.1 405B | Transformer | 0.37 | 0.33 | 0.46 |
| 人类评分者间基准 | — | 0.78-0.85 | 0.75-0.82 | 0.80-0.87 |
数据启示： 相关性差距显著，AI模型仅达到人类评分者间一致性的50-60%。叙事性文章表现出稍好的对齐度，很可能因为模型能从训练数据中识别故事结构；而需要逻辑评估的说服性文章则表现最差。
技术挑战具体表现为以下失效模式：
1. 逻辑谬误盲区：模型常忽略细微的逻辑不一致，尤其在论证经过修辞润色时。它们评估的是表层连贯性而非实质有效性。
2. 原创性误判：基于海量语料训练的模型难以区分真正的原创见解与对常见论点的高明转述。
3. 语境不敏感：对包含文化或历史指涉的特定命题作文，模型缺乏恰当的语境理解进行评估。
开源项目如EssayEval（GitHub: `edtech-ai/essay-eval`，1.2k stars）试图通过专用架构解决这些问题。该框架实现了多阶段评估流水线，由独立模块分别分析论证结构、证据使用和文体元素，再综合生成分数。然而，即便是这些方法，仍难以实现人类评分者所运用的整合性判断。
关键参与者与案例研究
教育科技领域对AI评分采取了不同路径，对当前局限性的承认程度也各不相同。
Turnitin的AI写作检测与反馈工作室：作为学术诚信领域的 incumbent，Turnitin已集成GPT-4用于生成形成性反馈，但最终评分仍由人类完成。其方法明确采用混合模式，将AI定位为助手而非替代者。不过，其新近发布的Turnitin Draft Coach专注于语法和引用反馈，这展示了一条更稳妥的路径——聚焦于AI表现可靠的机械性层面。
Grammarly教育套件：Grammarly已从语法校正扩展到全句重写和语调调整。其Grammarly for Education产品提供“整体写作分数”，但因其过度强调词汇复杂度和句式多样性而牺牲论证质量受到批评。内部研究显示，在大学申请文书评分上，其分数与人类评分者的相关性为0.52——略优于通用模型，但对高风险评估仍不足够。
可汗学院的Khanmigo：基于GPT-4构建的Khanmigo提供带有作文反馈的互动辅导。关键在于，它避免给出数字分数，而是提供具体的改进建议。这反映出一种战略认知：当前AI不应进行总结性评估。
初创公司路径：
- Gradescope（已被Turnitin收购）：主要将AI用于评分量表的应用和一致性检查，而非独立评分。
- WriteLab：开发了基于50万篇带详细教师评语的已评分作文微调的专有模型。其相关性达到0.61——优于通用模型，但需要海量领域特定训练数据。
- ETS'