PaintBench: 精确视觉编辑的确定性评估

尽管当前的多模态模型在开放式视觉编辑方面表现出色，但执行精确的单答案编辑仍然是一个重要障碍。为了探究这一挑战，我们引入了PaintBench，这是一个动态可扩展的基准，针对四个类别中的20种基本精确视觉编辑操作：几何变换、结构操作、颜色变化和符号推理。通过可配置复杂度的程序化生成，可以实现几乎无限且抗污染的评估套件，而确定性像素级评估则消除了对易有偏见的评判模型的依赖。在对11个图像编辑模型的测试中，我们发现整体性能较低，当前性能最高的行业领先者仅获得17.1%（mIoU）。任务分解揭示了特别具有挑战性的操作类型（几何变换、大多数结构操作、基于公式的颜色变化）以及模型特定的专长。细粒度基准诊断进一步显示了由对象数量、背景复杂度、配色方案和编辑区域大小等场景变化导致的性能下降。为了测试PaintBench分数在应用任务性能上的泛化能力，我们创建了一个用于数据可视化编辑的程序化确定性评估（TinyGrafixBench），并发现其与PaintBench分数存在强线性相关性（R² = 0.91, p < 0.001）。总之，PaintBench为衡量和推动精确多模态视觉编辑的进展提供了严格的基础。