编辑精选:通过原子实体分析评估图像编辑中的抽象意图

Hugging Face Daily Papers 论文

摘要

本文介绍了AbstractEdit(一个抽象图像编辑基准)和Entity-Rubrics(一个实体级评估框架),揭示了在抽象指令中平衡意图与保留的挑战,并强调了需要集成LLM。

人类自然通过抽象概念(如“情绪”)进行交流。然而,当前的图像编辑基准主要关注显式、字面指令,抽象指令在很大程度上尚未被探索。在这项工作中,我们首先形式化定义了抽象图像编辑的定义和分类。为了衡量这一具有挑战性领域的指令遵循程度,我们引入了Entity-Rubrics,一种将抽象编辑分解为单个实体级评估的框架,并与人类判断实现了强相关性。同时,我们贡献了AbstractEdit,这是首个专门针对多样化现实场景中抽象图像编辑的基准。在此数据集上评估11个领先模型揭示了一个基本挑战:标准架构难以平衡意图与保留,通常默认采用编辑不足或过度编辑。我们的分析表明,推动有意义的改进高度依赖于集成先进LLM文本编码器和迭代思考。展望未来,我们的基于实体的范式可以超越评估,作为奖励模型,使模型能够正确解释抽象交流,或在测试时反馈循环中突出特定失败。最终,我们希望这项工作成为向无缝多模态交互迈进的垫脚石,缩小刚性机器执行与人类自然、开放性交流之间的差距。
查看原文
查看缓存全文

缓存时间: 2026/05/20 18:39

论文页面 - 编辑精选:通过原子实体分析评估图像编辑中的抽象意图

来源:https://huggingface.co/papers/2605.14842

摘要

抽象的图像编辑基准测试和实体评分标准框架揭示了在处理抽象指令时平衡意图与保留的挑战,凸显了先进大语言模型集成与迭代方法的必要性。

人类自然地通过“情绪”等抽象概念进行交流。然而,当前的图像编辑基准测试主要关注显式、字面的指令,使得抽象指令在很大程度上未被探索。本文首先形式化定义了抽象图像编辑及其分类体系。为了衡量这一具有挑战性领域的指令遵循能力,我们引入了Entity-Rubrics框架,该框架将抽象编辑分解为单个实体级别的评估,并与人类判断实现了强相关性。与该框架一同,我们贡献了AbstractEdit,这是首个专为跨多样现实场景的抽象图像编辑设计的基准测试。在该数据集上评估了11个领先模型后,揭示了一个根本性挑战:标准架构难以平衡意图与保留,通常默认倾向欠编辑或过编辑。我们的分析表明,推动实质性改进的关键在于集成先进的LLM文本编码器和迭代思考。展望未来,我们基于实体的范式可推广至评估之外,作为奖励模型,使模型能够正确理解抽象交流,或在测试时批判循环中突出特定失败。最终,我们希望这项工作成为通向无缝多模态交互的垫脚石,缩小刚性机器执行与人类自然、开放式交流之间的差距。

查看 arXiv 页面 (https://arxiv.org/abs/2605.14842)查看 PDF (https://arxiv.org/pdf/2605.14842)项目页面 (https://venturamor.github.io/EditorsChoice/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.14842)

引用本文的模型0

没有模型链接本文

请在模型 README.md 文件中引用 arxiv.org/abs/2605.14842,以便从此页面链接。

引用本文的数据集0

没有数据集链接本文

请在数据集 README.md 文件中引用 arxiv.org/abs/2605.14842,以便从此页面链接。

引用本文的空间0

没有空间链接本文

请在空间 README.md 文件中引用 arxiv.org/abs/2605.14842,以便从此页面链接。

包含本文的收藏集0

没有收藏集包含本文

请将本文添加至收藏集 (https://huggingface.co/new-collection),以便从此页面链接。

相似文章

这个编辑正确吗?一个面向推理感知的图像编辑的多维度基准

Hugging Face Daily Papers

本文介绍了RE-Edit,一个用于评估图像编辑系统的基准,涵盖五个推理维度(物理、环境、文化、因果、指代),旨在评估逻辑一致性而不仅仅是视觉合理性。该基准包含1000个样本,评估了十个开源模型和两个商业模型,结果表明即使是先进系统在隐式多维度推理方面也存在困难。

看见无形之物:图像分类到高级和抽象类别的调查

arXiv cs.CL

一份全面的调查论文,审视图像分类到高级和抽象类别的任务,通过对常识语义、情感语义、美学语义和解释语义的多学科分析,澄清了计算机视觉中高级语义的隐性理解。该论文指出了抽象概念图像分类中存在的持久挑战,强调了混合人工智能系统在处理复杂视觉推理任务中的重要性。

EditLens: 量化文本中AI编辑的程度 (2025)

Hacker News Top

EditLens是一个回归模型,用于量化文本中AI编辑的程度,在区分人类、AI及混合写作的二元和三元分类任务上达到了最先进的性能。它弥补了检测AI编辑文本而非完全AI生成文本的空白,对作者归属、教育和政策具有重要意义。

揭示多模态知识编辑中的实体身份混淆问题

arXiv cs.CL

本文在多模态知识编辑中发现了一种称为实体身份混淆的故障模式,即模型错误地绑定图像-实体关系。文章提出了EC-Bench用于诊断该问题,并探讨了缓解策略以实现更可靠的编辑。