技术深度解析
ChartQA并非一个模型，而是一个精心策划的基准数据集，旨在隔离并衡量一项特定能力：回答关于图表的自然语言问题的能力。该数据集包含9,600多张图表上的28,000多个问题，来源涵盖四个主要领域：科学论文、财务报告、政府统计数据和维基百科。图表类型丰富多样——柱状图、折线图、饼图、散点图等——确保了对真实世界可视化类型的广泛覆盖。
关键的技术创新在于将问题分为两个层级：
- 人类编写问题（H1-H2）： 这些问题需要多步推理、算术运算（例如减法、百分比变化）、趋势识别（例如“哪个季度下降幅度最大？”）以及比较分析。它们被设计为对人类和机器都具有挑战性。
- 机器生成问题（M1-M2）： 这些问题较为简单，通常是单跳查询，例如“2019年柱状图的值是多少？”或“收入线的颜色是什么？”。它们测试基本的视觉定位和OCR能力。
| 问题类型 | 数量 | 示例 | 所需技能 |
|---|---|---|---|
| 人类编写 | 14,000+ | “过去三年的平均增长率是多少？” | 多步推理、算术、趋势分析 |
| 机器生成 | 14,000+ | “2020年蓝色柱状图的值是多少？” | 目标检测、OCR、简单查找 |
数据要点： 人类问题与机器问题50/50的划分是刻意为之。它创造了一个清晰的性能差异，揭示了模型是仅仅在“读取”图表，还是在真正“理解”图表。在机器问题上得分高但在人类问题上得分低的模型，本质上只是OCR引擎，而非推理系统。
从工程角度来看，ChartQA在多个子任务上评估模型：
1. 视觉解析： 从图表图像中提取数值、标签和图例。
2. 数值推理： 对提取的值执行算术运算（加法、减法、百分比）。
3. 时间推理： 理解随时间变化的趋势（例如“上升”、“下降”、“周期性”）。
4. 比较推理： 做出相对判断（例如“最大”、“最小”、“波动最大”）。
该基准提供了一套标准化的评估协议，包括固定的训练/验证/测试划分，以及计算精确匹配准确率和宽松准确率（允许微小数值容差）的评估脚本。这种严谨性对于可重复研究至关重要。
对于探索该领域的相关开源仓库：
- ChartQA (vis-nlp/chartqa)： 官方数据集和评估代码。251颗星。任何构建图表读取模型的人都必须访问。
- DePlot (google-research/deplot)： 一个在ChartQA上微调的模型，在推理之前将图表转换为线性化表格。1,200+颗星。展示了“表格优先”的方法。
- MatCha (google-research/matcha)： 在单个编码器-解码器中结合了图表解析和数学推理。800+颗星。在机器生成子集上达到了最先进水平。
关键的架构挑战在于，大多数视觉语言模型（VLM）并非原生设计用于数值推理。它们将图表图像视为像素网格，并试图将其映射到文本，但缺乏用于算术或逻辑推理的显式机制。这就是为什么像GPT-4o和Gemini 1.5 Pro这样的模型，尽管规模庞大，仍然在ChartQA的人类编写问题上挣扎。
关键参与者与案例研究
ChartQA基准已成为评估图表理解的事实标准，多个主要AI实验室正在积极竞争。
| 模型 | 人类编写准确率 | 机器生成准确率 | 参数规模（估计） |
|---|---|---|---|
| GPT-4o | 81.2% | 96.5% | ~200B |
| Gemini 1.5 Pro | 79.8% | 95.1% | ~150B |
| Claude 3.5 Sonnet | 78.5% | 94.3% | ~100B |
| DePlot (PaLM-540B) | 75.1% | 92.8% | 540B |
| MatCha (T5-XXL) | 72.3% | 91.2% | 11B |
数据要点： 所有模型在人类编写与机器生成准确率之间的差距是一致的——大约15-20个百分点。这表明存在根本性的架构限制，而非规模问题。即使是最大的模型也无法仅通过增加参数来缩小这一差距。
Google Research 是最活跃的参与者，发布了DePlot和MatCha作为其“Pix2Struct”系列的一部分。DePlot采用了一种巧妙的方法：它首先将图表图像转换为线性化表格（例如“年份 | 销售额：2019 | 100, 2020 | 150”），然后将该表格输入语言模型进行推理。这种“表格作为中间表示”的策略提高了数值准确性，但丢失了视觉上下文（例如颜色编码、重叠元素）。
OpenAI 尚未发布具体的ChartQA结果，但对GPT-4o的内部评估表明，它结合了OCR和思维链推理。该模型可以用文本描述图表。