CPI-Bench:一个全面、实用且智能的真实世界图像编辑基准

Hugging Face Daily Papers 论文

摘要

CPI-Bench 是一个针对真实世界图像编辑的全面基准,评估多图像任务、实际应用和基于推理的编辑,以更好地区分模型性能。

随着图像编辑模型的快速进步及其在多个领域的广泛应用,将这些模型能力直接部署到真实世界场景中的需求日益迫切。然而,现有的基准仍然局限于简单的单图像任务,存在覆盖维度有限、无法有效区分不同模型性能的问题。因此,它们无法可靠地评估模型在复杂多图像编辑、高度要求的推理指令和实际部署设置中的性能。为了解决这些局限性,我们提出了CPI-Bench,一个全面、实用且智能的真实世界图像编辑基准。CPI-Bench包含三个核心子集:CPI-General-Bench,全面覆盖多样化的编辑任务,并开创性地引入了多图像编辑评估;CPI-Practical-Bench,专注于高频真实用户应用场景;以及CPI-Intelligent-Bench,专门用于评估在高度要求的基于推理的编辑中的能力。基于CPI-Bench对主流图像编辑模型的评估结果表明,CPI-Bench增强了模型之间的性能区分度。它全面可靠地量化了在一般编辑能力、实际部署效能和高级基于推理的编辑方面的差距,为图像编辑模型的未来优化提供了宝贵的指导。至关重要的是,我们的排名分析显示,CPI-Bench与Arena Image Edit Leaderboard实现了最高程度的一致性,表明它忠实地捕捉了人类评估者的偏好和感知判断,作为真实世界用户体验的可靠代理。
查看原文
查看缓存全文

缓存时间: 2026/08/17 07:46

论文页面 - CPI-Bench:面向真实世界图像编辑的综合、实用且智能基准测试

来源:https://huggingface.co/papers/2608.14546 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

CPI-Bench 是一个面向真实世界图像编辑的综合性基准测试,它评估多图任务、实际应用和基于推理的编辑,以更好地区分模型性能。

随着图像编辑模型(https://huggingface.co/papers?q=image%20editing%20models)的快速发展及其在各领域的广泛应用,将这些模型能力直接部署到真实场景的需求日益迫切。然而,现有的基准测试仍局限于简单的单图任务,存在覆盖维度有限、无法有效区分多样模型性能的缺陷。因此,它们无法可靠评估模型在复杂的多图编辑(https://huggingface.co/papers?q=multi-image%20editing)、高要求推理指令以及实际部署设置中的性能。为解决这些局限性,我们提出了CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)——一个面向真实世界图像编辑的综合、实用且智能的基准测试。CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)包含三个核心子集:CPI-General-Bench,全面覆盖多样化的编辑任务,并率先引入多图编辑(https://huggingface.co/papers?q=multi-image%20editing)评估;CPI-Practical-Bench,聚焦于高频真实用户应用场景;以及CPI-Intelligent-Bench,专门评估高要求基于推理的编辑(https://huggingface.co/papers?q=reasoning-based%20editing)能力。基于CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)对主流图像编辑模型(https://huggingface.co/papers?q=image%20editing%20models)的评估结果表明,CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)提升了模型间的性能区分度。它全面可靠地量化了模型在通用编辑能力、实际部署效能以及高级基于推理的编辑(https://huggingface.co/papers?q=reasoning-based%20editing)方面的差距,为未来图像编辑模型(https://huggingface.co/papers?q=image%20editing%20models)的优化提供了宝贵指导。至关重要的是,我们的排名分析显示,CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)与 Arena 图像编辑排行榜(https://huggingface.co/papers?q=Arena%20Image%20Edit%20Leaderboard)具有最高的一致性,表明它真实捕捉了人类评估者的偏好和感知判断,可作为真实世界用户体验的可靠代理。

查看 arXiv 页面 (https://arxiv.org/abs/2608.14546) 查看 PDF (https://arxiv.org/pdf/2608.14546) 项目页面 (https://huggingface.co/datasets/TaobaoTmall-AlgorithmProducts/CPI-benchmark) GitHub2 (https://github.com/zqyzzz/CPI-benchmark) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.14546)

通过代理获取此论文:

hf papers read 2608\.14546

没有最新 CLI? curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有链接此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2608.14546 以将其链接到此页面。

引用此论文的数据集0

没有链接此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2608.14546 以将其链接到此页面。

引用此论文的空间0

没有链接此论文的空间

在空间的 README.md 中引用 arxiv.org/abs/2608.14546 以将其链接到此页面。

包含此论文的收藏夹0

没有包含此论文的收藏夹

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以将其链接到此页面。

相似文章

PaintBench: 精确视觉编辑的确定性评估

Hugging Face Daily Papers

PaintBench是一个新的基准,用于评估多模态模型中的精确视觉编辑,涵盖4个类别中的20种操作,采用确定性像素级评估。测试11个模型显示整体性能较低,最佳模型仅获得17.1%的mIoU。

这个编辑正确吗?一个面向推理感知的图像编辑的多维度基准

Hugging Face Daily Papers

本文介绍了RE-Edit,一个用于评估图像编辑系统的基准,涵盖五个推理维度(物理、环境、文化、因果、指代),旨在评估逻辑一致性而不仅仅是视觉合理性。该基准包含1000个样本,评估了十个开源模型和两个商业模型,结果表明即使是先进系统在隐式多维度推理方面也存在困难。

CursorBench 3.1

Hacker News Top

CursorBench 3.1 引入了专注于代码库理解、缺陷查找、规划和代码审查的新基准任务,并展示了各种AI模型的更新得分和成本比较。