技术深度解析
ImagingBench的核心洞察在于，视觉语言模型（VLM）在理解图像形成方面，与人类视觉处于根本不同的层面。人类凭直觉就能理解，一张照片是光线从表面反射、穿过镜头、最终撞击传感器的结果——每一步都会引入特定的畸变。相比之下，当前的VLM只是学习像素模式与语义标签之间的统计相关性，内部没有任何物理成像管线的表征。
ImagingBench通过20项精心设计的任务来测试这一差距。例如，在“镜头像差识别”任务中，模型会看到一张点光源（如恒星）的照片，该照片由已知像差（球差、彗差、像散或色差）拍摄而成。模型必须识别出哪种像差导致了该图案。GPT-4o的准确率仅为22%，略高于随机水平（25%）。Claude 3.5 Sonnet的准确率为18%。即使是经过微调的专业模型，如LLaVA-1.6（34B），也仅达到31%。这项任务要求理解球差会产生对称模糊，而彗差则形成彗星状拖尾——这是一种镜头形状与图像畸变之间的因果关系，而当前没有任何VLM架构能够编码这种关系。
另一项揭示性任务是“传感器噪声源归因”。模型会看到两张在相同条件下拍摄的照片，但具有不同的噪声特征——一张来自带有读出噪声的CMOS传感器，另一张来自带有光子散粒噪声的CCD传感器。模型必须识别出哪张图像由哪种传感器产生。人类专家通过识别噪声的统计纹理，准确率超过90%。而最佳VLM的表现：Gemini 1.5 Pro仅为14%。这不是数据规模问题——而是表征问题。VLM对光子到达统计或电子读出电路没有任何概念。
| 任务类别 | 示例任务 | 人类专家 | GPT-4o | Claude 3.5 Sonnet | Gemini 1.5 Pro | LLaVA-1.6 (34B) |
|---|---|---|---|---|---|
| 射线光学 | 光圈对景深的影响 | 95% | 28% | 24% | 31% | 19% |
| 波动光学 | 狭缝宽度产生的衍射图案 | 88% | 12% | 9% | 15% | 8% |
| 图像信号处理 | 从原始马赛克中识别拜耳模式 | 92% | 18% | 21% | 16% | 14% |
| 逆问题 | 从编码孔径重建场景 | 85% | 8% | 6% | 11% | 5% |
| 计算感知 | 从单像素相机预测测量值 | 90% | 4% | 3% | 7% | 2% |
| 校准 | 从平场图像估计相机响应函数 | 93% | 15% | 12% | 18% | 10% |
数据要点： 人类专家与所有VLM之间的差距巨大——通常达到60到80个百分点。即使是最佳模型（Gemini 1.5 Pro）在任何物理任务上的准确率也未能超过31%，而人类始终高于85%。这不是边缘性缺陷；而是根本性的架构盲区。
从工程角度来看，挑战在于将可微分的物理模拟器集成到神经网络中。开源社区在以下方面取得了进展：Kaolin（NVIDIA，5.2k星）用于可微分渲染，Redner（6.8k星）用于基于物理的可微分光线追踪，以及ODIN（3.1k星）用于可微分波动光学。然而，这些工具是为计算机图形学和光学设计而构建的，并非用于与大型语言模型集成。关键瓶颈在于，VLM通过Transformer将图像处理为分块化的token，而物理模拟器则作用于连续场，并需要求解偏微分方程。弥合这一差距需要要么（a）将物理模拟器作为可微分模块嵌入VLM中，要么（b）训练VLM从图像中预测物理参数，然后在独立的模拟器中使用这些参数。这两种方法目前都处于早期研究阶段。
关键参与者与案例研究
ImagingBench联盟包括来自MIT媒体实验室、斯坦福计算成像实验室和东京大学的研究人员。但真正的行动在于那些在成像关键领域部署AI的公司。
Google DeepMind 在追求物理感知视觉方面最为激进。其“NeRF”系列（神经辐射场）明确建模了体积光传输，而“DreamFusion”则使用分数蒸馏从文本生成3D模型。然而，这些是生成模型，而非能够回答关于现有图像物理问题的判别模型。DeepMind的Gemini模型，尽管在ImagingBench上表现最佳（射线光学任务31%），但在波动光学任务上仍然灾难性地失败（15%）。
OpenAI 尚未公开发布物理感知视觉模型，但他们在“CLIP”和“DALL-E”上的工作表明，他们理解多模态表征的重要性。然而，CLIP的训练目标——匹配图像和文本嵌入——并不需要理解物理。一个CLIP模型可以将一张彩虹照片与单词“rainbow”匹配，却无需理解彩虹是由折射和色散引起的。OpenAI 尚未公开回应ImagingBench的结果。