技术深度解析
该实验的核心创新在于将井字棋棋盘重新定义为九个token的序列，每个token代表一个格子状态（空、X、O）。这使得标准的Transformer编码器——与驱动GPT-4和Claude相同的架构——能够将棋盘作为关系图进行处理。该模型是一个6层、8头、拥有1200万参数的Transformer，在由minimax智能体生成的500万局自对弈序列上进行了训练。关键在于，训练目标纯粹是预测性的：给定一个部分棋盘状态，预测下一步最优走法。没有提供奖励函数、胜负标签或规则描述。
训练后的分析使用了注意力展开（attention rollout）和探测分类器，揭示了一个令人惊叹的内部结构。特定的注意力头专门负责不同的子任务：
- 位置编码头：第1-2层的注意力头学会了关注格子之间的几何关系。例如，第1层的第4个头始终关注与当前格子共享同一行、列或对角线的格子，从而有效地构建了一个空间地图。
- 线路检测头：第3-4层的注意力头形成了识别同一玩家占据一条线上两个格子的模式，标记出潜在的获胜威胁。这些头在出现“二连”配置的棋盘状态上表现出高激活度。
- 战略优先级头：第5-6层的注意力头学会了权衡走法。在游戏早期状态中，中心格子（位置4）获得了不成比例的高注意力分数，反映了已知的最优开局策略。当对手形成“二连”时，防守头强烈激活，将注意力引向阻挡格子。
该模型在针对10万个棋盘状态的保留测试集上，达到了99.2%的最优走法预测准确率。当与完美的minimax对手对弈时，它实现了100%的平局率（无败绩），并在对手走出次优走法时赢得了72%的对局。这一表现在统计上与硬编码的最优策略无异。
为了验证模型确实学会了游戏逻辑而不仅仅是记忆状态，研究人员进行了一项“规则探测”实验。他们向模型输入违反井字棋规则的棋盘状态（例如，棋盘上还有O的情况下出现三个X连成一线）。模型的注意力模式随即崩溃——通常用于线路检测的头变得不活跃，模型输出随机走法。这表明模型已经内化了游戏的逻辑约束，而不仅仅是表面模式。
| 模型变体 | 参数数量 | 最优走法准确率 | 对随机对手胜率 | 对完美对手平局率 |
|---|---|---|---|---|
| 基础Transformer (6L, 8H) | 1200万 | 99.2% | 99.8% | 100% |
| 移除位置编码的Transformer | 1200万 | 78.5% | 92.1% | 94% |
| LSTM基线 | 800万 | 88.3% | 96.4% | 97% |
| MLP基线 | 500万 | 72.1% | 85.0% | 88% |
数据要点：Transformer的注意力机制对于空间推理至关重要——移除位置编码会导致准确率下降20个百分点。LSTM虽然能处理序列，但缺乏显式的关系注意力，表现更差，这证实了自注意力是涌现策略学习的关键推动因素。
关键参与者与案例研究
这项实验建立在多个研究团队的基础工作之上。将游戏棋盘视为token序列的方法由DeepMind的AlphaZero首创，但该系统依赖于卷积神经网络和蒙特卡洛树搜索——一种神经网络与符号方法的混合体。这里的新颖之处在于纯Transformer方法，它消除了对任何搜索或基于规则的组件的需求。
多伦多大学Vector Institute和Google DeepMind开源团队的研究人员一直在探索类似的想法。GitHub仓库`transformer-games`（目前拥有2300颗星）提供了一个框架，用于在组合游戏（包括井字棋、四子棋和黑白棋）上训练Transformer。该仓库的README明确写道：“我们旨在测试纯注意力机制在战略推理方面的极限。”
在工业界，这项工作与Anthropic和Mistral AI等公司构建“推理”模型的努力方向一致，这些模型无需显式编程即可内化复杂任务。例如，Anthropic的Claude 3.5 Sonnet在下国际象棋和解决逻辑谜题方面展现出了涌现能力，尽管其底层机制尚不透明。井字棋实验提供了一个清晰、可解释的案例研究，验证了这一更广泛的方向。
一个值得注意的对比是Google的“GameTransformer”项目（尚未公开发布），据报道该项目在《星际争霸II》的微操中使用了类似方法。虽然细节不多，但井字棋的结果表明，将这种方法扩展到更复杂的游戏是可行的。
| 方法 | 架构 | 是否需要规则知识 | 可解释性 | 在井字棋上的表现 |
|---|---|---|---|---|