技术深度解析
这场复古实验的核心在于其刻意的架构极简主义。开发者选择实现一个紧密模仿2019年原始GPT-2架构的仅解码器Transformer，但有一个关键区别：明确排除每一项现代优化。这意味着没有FlashAttention（将注意力计算的内存复杂度从O(n²)降至O(n)），没有旋转位置编码（RoPE），没有SwiGLU激活函数，没有预归一化，也没有分组查询注意力（GQA）。取而代之的是，该模型使用绝对正弦位置编码、ReLU激活、后层归一化和具有完整二次复杂度的标准多头注意力。
为什么会有人这样做？答案在于将“消融研究”推向极致。通过构建一个按现代标准刻意次优的模型，开发者可以精确测量每项现代创新对性能的贡献程度。该项目GitHub仓库（已获得超过4000颗星）的初步结果显示出一个引人入胜的模式：在50B token的精选文本上训练后，复古模型在Wikitext-103基准上达到18.2的困惑度。作为对比，现代7B参数模型（如LLaMA-2 7B）在同一基准上达到约12.5的困惑度，但参数数量是其7倍，训练计算量约是其4倍。
| 模型 | 参数 | 训练Token数 | Wikitext-103困惑度 | 训练计算量（PFLOPS-天） |
|---|---|---|---|---|
| 复古LLM（本实验） | 1.2B | 50B | 18.2 | 120 |
| GPT-2 Medium（2019） | 355M | 40B | 22.7 | 45 |
| LLaMA-2 7B（2023） | 6.7B | 2T | 12.5 | 1,800 |
| TinyLLaMA 1.1B（2024） | 1.1B | 3T | 16.1 | 900 |
数据要点： 复古模型实现了LLaMA-2 7B相对于GPT-2 Medium困惑度改进的70%，但仅使用了其6.7%的计算量。这表明现代架构可能在每参数效率上存在边际收益递减，而近期性能提升的很大一部分来自数据规模扩展而非架构创新。
该项目的GitHub仓库还记录了一系列针对性实验。例如，当开发者逐步向复古模型添加RoPE嵌入时，困惑度仅下降0.8点——许多研究人员可能认为这一改进至关重要，但实际增益却相当温和。同样，用SwiGLU替换ReLU带来了1.2点的改进，但由于激活函数更复杂，推理延迟增加了15%。这些发现挑战了“每项现代架构调整都普遍有益”的假设。
关键参与者与案例研究
虽然这场复古实验是一位开发者（在GitHub上使用化名“archaeologist_ai”）的个人作品，但它处于一个更广泛的研究者和公司生态系统之中，这些人和公司正在探索AI效率的替代路径。最显著的平行案例是EleutherAI的工作，这个开源集体在GPT-Neo和GPT-J模型中复现了GPT-3的架构。EleutherAI的早期努力在精神上同样是“复古”的——他们刻意避免专有优化，以创建可复现的基线。他们的GPT-J-6B模型在The Pile数据集上训练，证明了相对简单的架构在高质量数据上训练时也能取得有竞争力的结果。
另一个关键参与者是2023年“TinyStories”论文背后的团队，该论文表明一个仅28M参数的小型模型在简单故事上训练后，能够展现出连贯的语言理解能力。该实验与当前的复古项目一样，挑战了“大规模是获得有意义能力所必需的”这一假设。TinyStories的作者明确主张，该领域为了基准性能而过度工程化了架构，而非为了基础理解。
在商业方面，苹果和高通等公司一直在悄悄探索用于设备端AI的简化架构。苹果于2024年发布的OpenELM模型采用了逐层缩放策略，在概念上更接近复古模型，而非云提供商使用的大规模密集Transformer。高通AI研究部门发表了关于“高效Transformer”的论文，这些论文修剪注意力头并减少前馈维度——本质上是在做复古实验通过设计所做的事情。
| 组织 | 项目/模型 | 方法 | 关键指标 |
|---|---|---|---|
| EleutherAI | GPT-Neo 1.3B | 复现GPT-3架构，无优化 | LAMBADA准确率38.1% |
| 苹果 | OpenELM 1.1B | 逐层缩放，简化注意力 | iPhone 15上42.5 token/秒 |
| 高通 | 高效Transformer | 修剪注意力头，减少FFN | Snapdragon上3.2倍加速 |
| 本实验 | 复古LLM 1.2B | 完整复古架构，无现代调整 | Wikitext-103困惑度18.2 |
数据要点： 复古实验的性能