AI能理解成像吗？面向计算成像任务的智能体AI系统化基准测试

# AI真的理解成像吗？计算成像任务中Agentic AI的系统性基准测试

**来源：** https://arxiv.org/html/2607.07189

Ethan Chung¹,∗, Chuanjun Zheng¹,∗, Jasper Tan², Jingxi Li², Haopeng Zhang¹, and Huaijin Chen¹

∗同等贡献.

¹University of Hawaii at Manoa.

²Glass Imaging.

预印本 / 进行中工作. 可能修订；并非最终版本.

###### 摘要

视觉-语言模型（VLM）和 agentic AI 在语义视觉任务上表现出色，但尚不清楚它们能否处理计算成像背后的物理原理和逆问题。我们提出 **ImagingBench**，一个包含 20 个计算成像任务的基准测试，涵盖五个类别：射线和波动光学、图像信号处理、逆重建、计算传感和校准。ImagingBench 评估三种互补的设置：Expert（固定专家指导的逆重建）、Planner（规划器指导的逆重建）和 Forward（前向系统仿真用于一致性检查）。我们评测了领先的专有和开源以图像为中心的多模态系统，包括 Gemini、GPT 和 Qwen，并将其与代表性的特定任务非 agentic 基线进行比较。在各种任务中，agentic 模型始终弱于专门方法，尤其是在计算传感问题上，如无透镜成像、基于事件的重建、飞行时间成像和全息术。规划器指导相比固定提示的 Expert 基线仅带来有限且不一致的提升。尽管模型通常能生成视觉上合理的输出，但其基于参考的保真度仍然很差，揭示了语义视觉能力与物理基础成像性能之间的巨大差距。ImagingBench 提供了一个统一的测试平台，用于衡量这一差距并追踪 agentic AI 在计算成像方面的进展。

###### 索引术语：计算摄影、视觉-语言模型、生成式 AI、逆问题、基准测试。

![图1](https://arxiv.org/html/2607.07189/figures/overview.jpg)
图例说明
图1：ImagingBench 概览：我们的基准测试包含 20 个子任务，跨越五个计算成像类别。每个面板展示对应类别中的代表性任务，说明该基准如何覆盖从场景采集、光学编码到传感、图像处理、重建和校准的整个计算成像流程。

## 1 引言

基准测试通过将广泛的能力转化为可重复的评估程序，反复重塑了机器学习的进展。在视觉和多模态推理领域，广泛使用的测试套件现在衡量识别、分割、描述、视觉问答、工具使用、物理推理和可控生成 [1,2,3,4,5,6,7,8,9,10,11]。然而，这些基准测试并未直接测试视觉能力的核心形式：agentic AI 系统能否推理图像形成过程并解决计算成像问题。计算成像不同于语义视觉，因为其成功取决于光学、传感、采样、校准、降质和重建。去噪、去模糊、去马赛克、HDR 恢复、无透镜重建、飞行时间恢复、全息术、校准和成像系统设计等任务要求模型推理前向算子并解决不适定的逆问题，而不仅仅是分配语义标签。经典和基于学习的计算成像通过基于物理的建模、特定任务优化和学习重建流程取得了实质性进展 [12,13,14,15,16,17,18,19]，但基准设计并未跟上多模态基础模型和智能体的出现步伐。这一差距很重要，因为当性能受传感器物理、光学像差、噪声统计或欠采样支配时，视觉上合理的输出可能是错误的。这对 agentic 系统也很重要：一个有用的成像智能体不仅应生成图像，还应诊断降质、提出物理上合理的恢复策略，并与前向成像过程保持一致。现有的通用视觉、医学成像、多模态推理和智能体基准测试并未在统一设置下联合评估这些能力。为弥补这一差距，我们引入了 **ImagingBench**，一个用于评估跨计算成像流程的 agentic AI 系统的基准测试。ImagingBench 涵盖图像信号处理、逆重建、计算传感、光学感知推理和校准，并在统一协议下评估直接执行、规划器引导执行和前向系统仿真。我们的目标不是取代广泛的能力测试套件或特定任务排行榜，而是提供一个专门的诊断基准，用于衡量现代多模态智能体是否展现出连贯且可迁移的成像能力。本工作的主要贡献如下：

- • 我们引入了一个统一的成像 AI 能力基准测试，涵盖五个类别的 20 个任务组，同时包含重建保真度和物理感知推理。
- • 我们定义了三种互补的评估设置——Expert（专家指导的反演）、Planner（规划器指导的反演）和 Forward（前向一致性评估）——以解耦执行能力、逐实例规划和前向模型一致性。
- • 我们使用原始指标和归一化聚合分数形式化了任务特定评估。
- • 我们评测了专有系统（Gemini 和 GPT）和一个开源系统（Qwen），以及代表性的特定任务非 agentic 基线，并分析了基础模型能力在成像特定约束下何时转移或失败。
- • 我们提供了成本、鲁棒性和失败分析，包括噪声扫描、采样扫描、安全事件记录和智能体失败案例，以支持可重复的未来比较。

表 I：ImagingBench 相对于先前基准测试系列的定位。

| 基准系列 | 代表性资源 | 擅长评估的内容 | 本论文中缺少的内容 |
|------|--------|------------|-------------|
| 通用视觉 | ImageNet[1], PASCAL VOC[2], COCO[3], VQA[20], nocaps[21] | 识别、定位、分割、描述、视觉问答 | 几乎无图像形成物理、逆问题、校准/设计、规划器-执行器评估 |
| 医学成像 | MedMNIST[22], CheXpert[23], MIMIC-CXR[24], VinDr-CXR[25], BraTS[26], VQA-RAD[27], SLAKE[28], PathVQA[29], PMC-VQA[30], GMAI-MMBench[31] | 诊断、报告对齐学习、分割、病灶定位、医学VQA | 主要是语义/临床理解；有限的前向模型推理和低级成像评估 |
| 多模态推理 | GLUE[4], BIG-bench[5], MMBench[6], MMMU[7] | 广泛能力画像、推理广度、跨任务比较 | 非成像特定；有限的定量图像重建评估 |
| 智能体和物理推理 | AgentBench[8], GAIA[9], PhysBench[10] | 工具使用、多步规划、物理理解 | 非端到端成像流程；很少特定任务图像保真度评分 |
| 多模态生成 | MMMG[11] | 生成可控性和人类对齐自动评估 | 不关注逆成像或成像系统推理 |
| 本工作 | ImagingBench | 物理图像形成、逆重建、校准/设计、以及规划器-执行器统一评估 | — |

## 2 相关工作

基准测试通过标准化跨广泛能力系列的评估，持续推动了进展。视觉基准测试如 ImageNet、PASCAL VOC、COCO、VQA 和 nocaps 建立了语义感知和视觉问答的共同协议 [1,2,3,20,21]；医学成像基准测试将评估扩展到临床解释 [22,23,24,25,26,27,28,29,30,31]；最近的多模态和智能体测试套件评估推理、工具使用、物理理解和可控生成 [4,5,6,7,8,9,10,32]。然而，这些基准测试系列仍为计算成像留下了一个重要空白。我们的设置要求模型联合推理图像形成、光学、传感、逆重建、校准和智能体规划。在语义识别或多模态问答上的高表现并不意味着在物理基础的成像任务上具备能力，在这些任务中，成功取决于正确处理前向算子、降质和重建目标。

### 2.1 计算成像、物理感知恢复与光学设计

经典和基于学习的计算成像（CI）主要通过物理基础的前向建模、逆方法和特定任务神经架构取得了进展 [12,13,14,33]。最近的工作也开始探索基础模型先验如何辅助低级成像。例如，VLMIR 通过基于 VLM 的特征提取和交叉注意力调节，将视觉-语言先验注入扩散恢复流程 [34]。在光学工程中，OPTIAGENT 引入了一个用于自动光学设计的 agentic 框架，结合了 LLM、精选的光学设计数据集、物理驱动的奖励和下游优化例程 [35]。这些工作是将多模态基础模型与成像任务集成的重要步骤，但它们仍然以方法为中心，局限于相对狭窄的任务系列。它们没有提供一个涵盖图像形成、逆恢复、校准和规划器-执行器评估的统一基准测试。

### 2.2 通用视觉与医学成像基准测试

通用视觉基准测试在语义感知任务评估标准化方面非常成功。ImageNet 强调大规模分类和检测；PASCAL VOC 标准化了识别和定位；COCO 扩展到自然场景的实例分割和描述；VQA 增加了图像上的语言条件推理；nocaps 强调新颖对象泛化下的描述 [1,2,3,20,21]。这些资源很好地评估了语义理解，但它们很少或根本不覆盖前向图像形成、逆成像、校准或设计。医学成像基准测试同样侧重于临床有意义的解释。MedMNIST 提供了一个轻量级的多数据集生物医学分类套件；CheXpert、MIMIC-CXR 和 VinDr-CXR 支持胸部 X 光分类和定位；BraTS 是肿瘤分割的主要基准；VQA-RAD、SLAKE、PathVQA、PMC-VQA 和 GMAI-MMBench 将评估扩展到医学多模态推理和视觉问答 [22,23,24,25,26,27,28,29,30,31]。然而，这些基准测试仍然主要集中于语义或临床解释，而非关于传感算子、光学降质、逆重建保真度或物理一致的前向模拟的推理。

### 2.3 多模态推理、智能体与物理理解

另一条并行的工作路线研究日益通用的多模态或智能体能力。GLUE 和 BIG-bench 强调语言和推理中的广泛跨任务评估 [4,5]。MMBench 和 MMMU 探索多模态推理和感知的广度 [6,7]。AgentBench 和 GAIA 评估 LLM 和多模态系统在交互或工具使用环境中的智能体能力 [8,9]。PhysBench 专门关注物理世界理解，显示当前 VLM 在许多物理基础场景中仍有困难 [10]。MMMG 研究可控多模态生成，结合人类对齐的自动评估，覆盖多种模态组合 [11]。作为补充，Luo 等人引入