技术深度解析
Spreadsheet-RL构建在一个看似简单的架构之上：一个大语言模型（LLM）充当策略网络，接收电子表格状态的文本表示，并输出一系列动作。环境是一个轻量级电子表格模拟器，能够将单元格、公式和数据结构渲染为结构化文本。其核心创新在于奖励函数——它是多层面的：奖励正确的单元格输出、高效的公式使用以及对任务规范的遵循。
架构组件：
- 状态编码器： 将电子表格（单元格值、公式、格式、布局）转换为LLM可处理的标记化序列。这包括单元格坐标的位置嵌入以及公式与值的类型嵌入。
- 动作空间： 一组离散操作：SELECT_CELL、WRITE_FORMULA、COPY_RANGE、PASTE_VALUES、APPLY_FILTER、CREATE_PIVOT等。每个动作都有参数（例如，单元格范围、公式字符串）。
- 奖励塑造： 任务完成的稀疏奖励（例如，正确的数据透视表输出）通过中间步骤的密集奖励得到增强：正确的单元格选择、有效的公式语法、非空的中间结果。
- 训练算法： 近端策略优化（PPO），配有一个估计状态-动作优势的价值网络。模型从预训练的LLM（例如，CodeLlama-7B或DeepSeek-Coder-6.7B）初始化，然后在RL循环中进行微调。
基准性能：
| 模型 | 任务完成率 (%) | 平均步骤数 | 公式准确率 (%) | 新布局成功率 (%) |
|---|---|---|---|---|
| GPT-4 (零样本) | 22.3 | 14.2 | 31.5 | 12.1 |
| 监督微调 (CodeLlama-7B) | 38.7 | 9.8 | 54.2 | 28.4 |
| Spreadsheet-RL (CodeLlama-7B) | 61.4 | 7.1 | 78.9 | 52.6 |
| Spreadsheet-RL (DeepSeek-Coder-6.7B) | 68.2 | 6.5 | 83.1 | 59.3 |
数据要点： RL训练的模型任务完成率是零样本GPT-4的两倍多，在新布局上比监督微调提升了60%，表明RL对未见过的电子表格结构的泛化能力远强于其他方法。
值得关注的GitHub仓库：
- spreadsheet-rl（官方仓库）：包含环境模拟器、训练脚本和预训练检查点。截至2026年5月，已获得超过3200颗星，社区积极贡献新的动作类型。
- openpyxl-rl（社区分支）：将环境扩展为支持真实的Excel文件解析和写入，从而能够在真实世界的电子表格上进行训练。在企业用例中逐渐获得关注。
这里的技术突破在于，模型不仅学会了编写正确的公式，还学会了规划多步骤工作流——例如，当被要求“清洗销售数据并按区域创建数据透视表”时，模型会先识别并删除重复项，然后标准化日期格式，最后创建数据透视表。这种思维链并非来自显式指令，而是从RL训练中自然涌现的。
关键参与者与案例研究
已有多个组织基于Spreadsheet-RL进行开发，或正在开发竞争性方法：
1. 微软研究院（项目“GridSmith”）
微软一直在悄悄开发一个名为GridSmith的内部系统，将Spreadsheet-RL的概念整合到Excel Copilot中。他们的方法使用一个在数百万Excel宏和电子表格操作上微调的专有模型。内部基准测试显示，GridSmith在复杂财务建模任务上的任务完成率达到72%——略高于开源的Spreadsheet-RL，但所需的训练数据量是其10倍。
2. Anthropic（Claude for Sheets）
Anthropic走了一条不同的路线：他们不使用RL，而是采用宪法AI和思维链提示来引导Claude完成电子表格任务。该方法在简单任务上表现良好（单单元格公式准确率80%），但在多步骤操作（如创建数据透视表）上准确率降至45%。据报道，他们正在为下一个版本探索RL集成。
3. Google DeepMind（Gemini Sheets Agent）
DeepMind开源了一个名为SheetAgent的变体，它将RL与一个能够处理实际电子表格截图的视觉基础模块相结合。这使得模型能够处理纯文本系统无法捕捉的格式和布局变化。早期结果显示，在视觉密集型任务（例如，合并单元格、应用条件格式）上，任务完成率达到65%。
领先方法对比：
| 系统 | 方法 | 多步骤成功率 | 公式准确率 | 数据清洗 | 数据透视表 | 开源 |
|---|---|---|---|---|---|---|
| Spreadsheet-RL (CodeLlama) | RL + 文本状态 | 61% | 79% | 68% | 55% | 是 |
| Microsoft GridSmith | RL + 专有模型 | 72% | 85% | 74% | 66% | 否 |
| Anthropic Claude for Sheets | 思维链 | 45% | 80% | 52% | 38% | 否 |
| Google DeepMind SheetAgent | RL + 视觉基础 | 65% | 82% | 71% | 58% | 是 |
数据要点： 尽管微软在原始性能指标上领先，但Spreadsheet-RL凭借其开源特性和社区驱动的创新，正在成为更广泛采用的基准。