技术深度剖析
理解LLM为何在某些任务上表现出色、在其他任务上失败的核心洞察，在于其基本架构：基于自回归下一个词元预测的Transformer解码器。这一机制本质上是一个大规模扩展的模式补全器。它学习训练语料中词元的统计分布，在推理时，根据前文上下文生成最可能的后续内容。这种架构天然优化了那些可被框架化为模式补全或结构化输出生成的任务。
为何代码生成如此出色： 编程语言是人类沟通中最受规则约束、歧义最少的形式之一。语法是刚性的，变量名遵循惯例，代码结构（函数、循环、条件语句）高度可预测。一个在数百万个GitHub仓库上训练的Transformer能以惊人的保真度学习这些模式。开源项目BigCode Project（具体来说是StarCoder和StarCoder2模型，已累计获得超过25,000个GitHub星标）证明，仅在宽松许可代码上训练的模型能在HumanEval基准测试（Python函数合成）中达到超过70%的通过率。最近，DeepSeek-Coder（一个代码专用模型家族，拥有超过10,000个星标）在HumanEval上实现了76.2%的pass@1，与GPT-4不相上下。关键洞察在于，代码生成本质上是一个受约束的解码问题：模型的输出空间受语法限制，且正确性可通过执行来验证。这创造了一个与模型优势完美契合的自然反馈循环。
为何结构化摘要表现出色： 摘要任务，尤其是结构化文档（技术报告、会议记录、法律合同）的摘要，是另一个甜蜜点。该任务要求提取关键实体、保持逻辑流程并压缩信息——所有这些都属于模式匹配操作。模型不需要以人类的方式“理解”文档；它只需要根据统计共现模式识别最显著的词元和短语。这就是为什么模型能在几秒内生成50页报告的执行摘要，却常常错误引用某个具体统计数据或引文。
根本弱点：事实检索与幻觉： 使LLM擅长代码生成的同一模式补全机制，也使它们极不擅长事实检索。当被问及一个具体事实性问题（例如“阿根廷2022年的确切GDP是多少？”）时，模型不会查询数据库；它会生成跟随提示的最可能词元序列。如果训练数据包含多个相互矛盾的来源（例如来自国际货币基金组织、世界银行和国家统计机构的不同GDP数据），模型会进行插值或虚构。牛津大学与Cohere的研究人员在2024年的一项研究发现，GPT-4在关于专业医学和法律事实的问题上幻觉率高达15-20%，即使模型在另一个上下文中“知道”正确答案。这不是一个可修复的漏洞；这是一个架构性局限。检索增强生成（RAG）系统试图通过将模型输出锚定在已验证文档的向量数据库中来缓解这一问题，但RAG引入了自身的失败模式——检索质量差、上下文窗口限制，以及当检索到的上下文不足时模型仍会幻觉。
为何复杂推理失败： 多步逻辑推理（例如“如果A蕴含B，B蕴含C，但非D，我们能对A和D得出什么结论？”）需要维持一个连贯的内部状态，并在多个步骤中一致地应用规则。Transformer的注意力机制擅长局部模式匹配，但缺乏全局工作记忆。思维链（CoT）提示通过迫使模型外化其推理步骤来提供帮助，但并不能保证逻辑一致性。在GSM8K基准测试（小学数学应用题）上，即使最好的模型也只能达到90-95%的准确率，而在更复杂的推理基准测试如BIG-Bench Hard上，准确率降至60-70%。模型常常产生一个看似合理的推理链，却得出错误答案，因为它“模式匹配”了推理风格，而非执行真正的演绎推理。
| 任务类别 | 示例基准测试 | GPT-4o得分 | Claude 3.5 Sonnet得分 | Llama 3 70B得分 | DeepSeek-V2得分 |
|---|---|---|---|---|---|
| 代码生成 | HumanEval (pass@1) | 87.2% | 84.6% | 72.1% | 76.2% |
| 结构化摘要 | CNN/Daily Mail (ROUGE-L) | 41.5 | 40.8 | 38.2 | 39.1 |
| 事实检索（幻觉率） | TruthfulQA (MC2) | 79.3% 真实 | 77.1% 真实 | 62.4% 真实 | 65.8% 真实 |
| 复杂推理 | GSM8K (数学) | 94.8% | 93.2% | 85.5% | 88.1% |
| 复杂推理 | BIG-Bench Hard | 72.3% | 69.8% | 58.4% | 63.5% |
数据要点：