技术深度解析
GPT-2解码器是工程简洁性与巨大计算复杂性的完美结合。核心数据结构是一个768维向量——这是隐藏状态大小，通常记为`d_model`。对于长度为`n`的序列，解码器处理一个形状为`[n, 768]`的矩阵。12层中的每一层都应用两个子层：多头掩码自注意力和位置级前馈网络。
多头自注意力： GPT-2使用12个注意力头，每个在64维子空间上操作（12 * 64 = 768）。对于每个头，输入矩阵通过形状为`[768, 64]`的学习权重矩阵投影为查询（Q）、键（K）和值（V）。注意力分数计算为`softmax(QK^T / sqrt(64))`，生成一个`[n, n]`的注意力矩阵。这就是二次成本出现的地方：对于1024个token的序列，注意力矩阵有超过100万个条目。掩码确保每个token只能关注之前的token（因果掩码）。所有头的输出被拼接起来，并通过另一个学习矩阵投影回768维。这一机制允许每个token动态地加权所有先前token的重要性——位置`i`的向量成为位置`1`到`i`的值向量的加权和。
前馈网络（FFN）： 每层的FFN由两个线性变换组成，中间有一个GELU激活函数。隐藏维度为3072（模型维度的4倍）。第一个变换将768维向量扩展到3072维：`W1`形状为`[768, 3072]`。经过GELU激活后，第二个变换将其压缩回768维：`W2`形状为`[3072, 768]`。这种扩展-压缩模式至关重要：它允许模型学习特征之间复杂的非线性交互。每个FFN层包含768 * 3072 + 3072 * 768 ≈ 470万个参数——所有12层总计超过5600万个参数。
最终投影和Softmax： 在第12层之后，768维向量通过一个最终线性层（通常称为语言模型头），其权重矩阵形状为`[768, 50257]`，为词汇表中的每个token生成logits。Softmax函数将这些logits转换为概率：`P(token_i) = exp(logit_i) / sum_j exp(logit_j)`。选择概率最高的token（贪婪解码）或从分布中采样（随机解码）。
性能基准测试： 计算成本主要由注意力和FFN操作主导。以下是GPT-2（1.24亿参数版本）在NVIDIA A100 GPU上每个token的计算成本分解：
| 操作 | 每个token的FLOPs | 权重内存 | 延迟（ms，batch=1） |
|---|---|---|---|
| 嵌入 | ~0.5M | 38.5M | 0.01 |
| 自注意力（每层） | ~6.3M | 2.4M | 0.08 |
| FFN（每层） | ~9.4M | 4.7M | 0.12 |
| LayerNorm（每层） | ~0.3M | 0.003M | 0.02 |
| 最终投影 | ~0.4M | 38.5M | 0.05 |
| 总计（12层） | ~200M | ~124M | ~2.5 |
*数据要点：FFN占总FLOPs的约56%，占权重内存的约55%，使其成为权重量化和剪枝等优化技术的主要目标。自注意力虽然每层计算强度较低，但随序列长度呈二次方扩展，在长上下文场景下成为主导成本。*
相关GitHub仓库：
- [karpathy/nanoGPT](https://github.com/karpathy/nanoGPT)：GPT-2在PyTorch中的最小化、干净实现。超过3.8万星。非常适合逐行理解解码器架构。
- [huggingface/transformers](https://github.com/huggingface/transformers)：加载和运行GPT-2的标准库。包含针对注意力和FFN的优化内核。
- [ml-explore/mlx-examples](https://github.com/ml-explore/mlx-examples)：Apple的MLX框架包含针对Apple Silicon优化的GPT-2实现，展示了同一架构如何适配不同硬件。
关键参与者与案例研究
OpenAI于2019年2月发布了GPT-2，参数规模达15亿，但1.24亿参数版本（GPT-2 Small）是研究最多、复制最广的。该架构定义了后续模型的模板：GPT-3（1750亿参数）将同一设计扩展到96层和12288维隐藏状态；GPT-4和GPT-4o使用混合专家变体，但保留了核心的纯解码器范式。
GPT-2变体对比：
| 模型 | 参数 | 层数 | d_model | 注意力头数 | 上下文长度 | 训练数据 |
|---|---|---|---|---|---|---|
| GPT-2 Small | 124M | 12 | 768 | 12 | 1024 | WebText（40GB） |
| GPT-2 Medium | 355M | 24 | 1024 | 16 | 1024 | WebText |
| GPT-2 Large | 774M | 36 | 1280 | 20 | 1024 | WebText |
| GPT-2 XL | 1.5B | 48 | 1600 | 25 | 1024 | WebText |
*数据要点：将解码器架构从12层扩展到48层、从768维扩展到1600维，参数增加了12倍。1.5B模型需要约6GB内存（仅权重），在推理时对硬件要求显著提高。*