CPI-Bench:一个全面、实用且智能的真实世界图像编辑基准
摘要
CPI-Bench 是一个针对真实世界图像编辑的全面基准,评估多图像任务、实际应用和基于推理的编辑,以更好地区分模型性能。
查看缓存全文
缓存时间: 2026/08/17 07:46
论文页面 - CPI-Bench:面向真实世界图像编辑的综合、实用且智能基准测试
来源:https://huggingface.co/papers/2608.14546 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
CPI-Bench 是一个面向真实世界图像编辑的综合性基准测试,它评估多图任务、实际应用和基于推理的编辑,以更好地区分模型性能。
随着图像编辑模型(https://huggingface.co/papers?q=image%20editing%20models)的快速发展及其在各领域的广泛应用,将这些模型能力直接部署到真实场景的需求日益迫切。然而,现有的基准测试仍局限于简单的单图任务,存在覆盖维度有限、无法有效区分多样模型性能的缺陷。因此,它们无法可靠评估模型在复杂的多图编辑(https://huggingface.co/papers?q=multi-image%20editing)、高要求推理指令以及实际部署设置中的性能。为解决这些局限性,我们提出了CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)——一个面向真实世界图像编辑的综合、实用且智能的基准测试。CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)包含三个核心子集:CPI-General-Bench,全面覆盖多样化的编辑任务,并率先引入多图编辑(https://huggingface.co/papers?q=multi-image%20editing)评估;CPI-Practical-Bench,聚焦于高频真实用户应用场景;以及CPI-Intelligent-Bench,专门评估高要求基于推理的编辑(https://huggingface.co/papers?q=reasoning-based%20editing)能力。基于CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)对主流图像编辑模型(https://huggingface.co/papers?q=image%20editing%20models)的评估结果表明,CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)提升了模型间的性能区分度。它全面可靠地量化了模型在通用编辑能力、实际部署效能以及高级基于推理的编辑(https://huggingface.co/papers?q=reasoning-based%20editing)方面的差距,为未来图像编辑模型(https://huggingface.co/papers?q=image%20editing%20models)的优化提供了宝贵指导。至关重要的是,我们的排名分析显示,CPI-Bench(https://huggingface.co/papers?q=CPI-Bench)与 Arena 图像编辑排行榜(https://huggingface.co/papers?q=Arena%20Image%20Edit%20Leaderboard)具有最高的一致性,表明它真实捕捉了人类评估者的偏好和感知判断,可作为真实世界用户体验的可靠代理。
查看 arXiv 页面 (https://arxiv.org/abs/2608.14546) 查看 PDF (https://arxiv.org/pdf/2608.14546) 项目页面 (https://huggingface.co/datasets/TaobaoTmall-AlgorithmProducts/CPI-benchmark) GitHub2 (https://github.com/zqyzzz/CPI-benchmark) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.14546)
通过代理获取此论文:
hf papers read 2608\.14546
没有最新 CLI? curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有链接此论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2608.14546 以将其链接到此页面。
引用此论文的数据集0
没有链接此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2608.14546 以将其链接到此页面。
引用此论文的空间0
没有链接此论文的空间
在空间的 README.md 中引用 arxiv.org/abs/2608.14546 以将其链接到此页面。
包含此论文的收藏夹0
没有包含此论文的收藏夹
将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以将其链接到此页面。
相似文章
PaintBench: 精确视觉编辑的确定性评估
PaintBench是一个新的基准,用于评估多模态模型中的精确视觉编辑,涵盖4个类别中的20种操作,采用确定性像素级评估。测试11个模型显示整体性能较低,最佳模型仅获得17.1%的mIoU。
MPIE-Bench:面向解剖学合理的多人交互编辑的基准测试
介绍了MPIE-Bench——一个包含2,500个样本的多人交互图像编辑基准,以及MPIE-Eval,一种基于网格的评估方法,在十个编辑器中比VLM检查表更贴近人类判断。
这个编辑正确吗?一个面向推理感知的图像编辑的多维度基准
本文介绍了RE-Edit,一个用于评估图像编辑系统的基准,涵盖五个推理维度(物理、环境、文化、因果、指代),旨在评估逻辑一致性而不仅仅是视觉合理性。该基准包含1000个样本,评估了十个开源模型和两个商业模型,结果表明即使是先进系统在隐式多维度推理方面也存在困难。
CursorBench 3.1
CursorBench 3.1 引入了专注于代码库理解、缺陷查找、规划和代码审查的新基准任务,并展示了各种AI模型的更新得分和成本比较。
Edit-Compass & EditReward-Compass: 图像编辑与奖励建模的统一基准
介绍了Edit-Compass和EditReward-Compass,这是一个用于评估图像编辑模型和奖励模型的统一基准套件,包含2,388个标注实例和2,251个偏好对,用于真实的强化学习场景。