技术深度解析
Transformer的核心创新并非注意力机制本身——Bahdanau注意力自2014年就已存在——而是大胆地仅使用注意力机制构建整个序列模型，摒弃了循环神经网络（RNN）和卷积神经网络（CNN）。该架构由编码器-解码器堆栈组成，每一层包含多头自注意力和逐位置前馈网络。关键的数学洞见是缩放点积注意力：
`Attention(Q,K,V) = softmax(QK^T / sqrt(d_k)) V`
这一公式允许每个token关注序列中的每一个其他token，从第一层就建立起全局感受野。`sqrt(d_k)`缩放因子防止了在维度较大时softmax中的梯度消失。多头注意力在`h`个头上并行运行此计算，每个头学习不同类型的关系（句法、语义、位置）。
真正的工程革命在于并行化。RNN按顺序处理token，使得长序列训练极其缓慢。Transformer同时处理所有token，从而能够利用GPU在大型语料库上进行训练。这直接促成了后来由Kaplan等人（2020）和Hoffmann等人（2022）形式化的缩放定律，该定律表明模型性能随计算量、数据和参数呈可预测的幂律提升。
位置编码是将序列顺序注入置换不变注意力机制的关键技巧。原始论文使用正弦函数，但可学习位置嵌入和旋转位置嵌入（RoPE，用于Llama和Mistral）已成为标准。RoPE由2021年的论文《RoFormer》提出，通过旋转矩阵编码相对位置，使得模型能够更好地泛化到比训练时更长的序列。
从工程角度看，Transformer的前馈层（通常为两个线性变换加ReLU激活）约占模型参数的三分之二。混合专家（MoE）变体，由Mixtral 8x7B和GPT-4推广，用稀疏专家模块取代密集的前馈网络，每个token仅激活一个子集，从而在不增加计算成本的情况下提升容量。
值得探索的开源实现：
- GitHub: huggingface/transformers — 事实上的标准库，拥有14万+星标，支持数千个预训练模型。
- GitHub: karpathy/nanoGPT — Andrej Karpathy的简洁最小化实现（约300行），用于教学目的。
- GitHub: lucidrains/x-transformers — Phil Wang的Transformer变体综合集（内存高效注意力、线性注意力等）。
各代模型的性能演进：
| 模型 | 年份 | 参数量 | 训练计算量（FLOPs） | MMLU分数 | 上下文窗口 |
|---|---|---|---|---|---|
| 原始Transformer（大） | 2017 | 213M | ~1e20 | N/A | 512 |
| GPT-3 | 2020 | 175B | 3.14e23 | 43.9% | 2048 |
| Llama 3 70B | 2024 | 70B | 6.4e24 | 82.0% | 8192 |
| GPT-4 | 2023 | ~1.8T（估计） | 2.1e25 | 86.4% | 8192（API中32k） |
| Claude 3.5 Sonnet | 2024 | — | — | 88.7% | 200k |
| Gemini 1.5 Pro | 2024 | — | — | 86.5% | 1M（实验性） |
数据要点： 参数量在七年内增长了约10,000倍，但MMLU分数在初始跃升后仅提升了约2倍。这表明纯缩放带来的收益正在递减——缩放定律的“低垂果实”已被摘尽，推动研究人员转向架构创新（MoE、长上下文机制、测试时计算）。
关键玩家与案例研究
Transformer的主导地位并非偶然——它是由那些押注其可扩展性的关键玩家战略性地推动的。
谷歌（原始发明者）： 论文作者——Vaswani、Shazeer、Parmar、Uszkoreit、Jones、Gomez、Kaiser、Polosukhin——均来自谷歌。谷歌在BERT（2018）中部署了Transformer用于NLP，随后在PaLM、Gemini及其搜索排名系统中使用。然而，谷歌谨慎的部署文化使得OpenAI抢占了生成式AI的先机。
OpenAI： 关键时刻是GPT-2（2019）展示了仅解码器Transformer能够生成连贯文本。GPT-3（2020）证明了缩放有效。OpenAI决定全力押注仅解码器架构——放弃编码器-解码器结构——这成为LLM的主导范式。其后续在InstructGPT、ChatGPT和GPT-4上的工作巩固了Transformer作为对话式AI基石的地位。
Meta（FAIR）： 开源Llama（2023）和Llama 2/3使Transformer研究民主化。Llama 3 70B可与闭源模型媲美，社区已构建了数千个微调变体。Meta对开源Transformer的承诺创造了一个不受任何单一公司控制的生态系统。
Mistral AI： 这家法国初创公司表明，经过良好训练的小型Transformer（Mixtral 8x7B、Mistral 7B）能够与巨头竞争。其MoE架构以极低的计算量实现了GPT-3.5级别的性能。