TRACE-Bench:分解与诊断多参考图像生成

Hugging Face Daily Papers 论文

摘要

TRACE-Bench 提出一个组合算子框架和基准,用于诊断多参考图像生成能力,通过将任务分解为原子操作进行详细评估。

尽管统一多模态模型在多参考图像生成方面取得了近期进展,现有基准仍围绕预定义任务类型(例如“主体组合”)组织,这不适合这种组合设置,导致覆盖碎片化、复杂度不可控且诊断价值低。认识到多样化的多参考任务共享一组共同的原子操作,我们采用能力导向的视角,形式化四个算子:锚定 (f)、解耦 (g)、应用 (oplus) 和组合 (C)。然后,任何多参考提示都可以表示为这些算子的组合公式,其结构复杂度通过算子槽的数量来量化。基于这一形式化,我们构建了TRACE-Bench,包含大约1,600个评估案例,覆盖槽位数1到8,基于631个公式模板和约4,000个参考图像构建,涵盖多样艺术风格和现实世界主题。公式结构直接驱动一个算子对齐的评估协议,用于每项能力的评分,以及一个诊断树分析用于递归故障定位。评估9个领先模型揭示了整体评分中不可见的洞察:主要瓶颈在于解耦 (g) 和属性绑定 (oplus),而非场景级组合 (C),即使最佳模型在属性保真度上得分仅为0.74。项目页面:https://amuseum-whr.github.io/TraceBench
查看原文
查看缓存全文

缓存时间: 2026/08/18 11:53

论文页面 - TRACE-Bench:多参考图像生成的分解与诊断

来源:https://huggingface.co/papers/2608.16765

摘要

本研究提出了一种组合算子框架与TRACE-Bench基准测试,用于诊断多参考图像生成在原子操作层面的能力。

尽管近期统一多模态模型在多参考图像生成(https://huggingface.co/papers?q=multi-reference%20image%20generation)方面取得进展,现有基准测试仍围绕预定义任务类型(例如“主体组合”)构建,这类设计不适用于组合式场景,导致评估覆盖碎片化、复杂度不可控且诊断价值有限。认识到多样化的多参考任务共享同一组原子操作,我们从能力导向的视角出发,形式化定义了四个算子:锚定(https://huggingface.co/papers?q=Anchor)(f)、解耦(https://huggingface.co/papers?q=Disentangle)(g)、应用(https://huggingface.co/papers?q=Apply)(oplus)与组合(https://huggingface.co/papers?q=Compose)(C)。任何多参考提示均可表示为这些算子的组合公式(https://huggingface.co/papers?q=compositional%20formula),其结构复杂度由算子槽位数量化。基于此框架,我们构建了TRACE-Bench(https://huggingface.co/papers?q=TRACE-Bench),包含约1600个评估案例(涵盖1-8个槽位),基于631个公式模板和约4000张涵盖多元艺术风格与现实主体的参考图像。公式结构直接驱动算子对齐评估(https://huggingface.co/papers?q=operator-aligned%20evaluation)方案,实现分能力评分,并通过诊断树分析(https://huggingface.co/papers?q=diagnostic%20tree%20analysis)进行递归式故障定位。对9个领先模型的评估揭示了整体评分无法捕捉的关键瓶颈:主要障碍在于解耦(https://huggingface.co/papers?q=disentangle)能力(g)与属性绑定(https://huggingface.co/papers?q=attribute%20binding)(oplus),而非场景级组合((C)),即使最优模型在属性保真度上的得分也仅为0.74。项目页面:https://amuseum-whr.github.io/TraceBench

查看arXiv页面(https://arxiv.org/abs/2608.16765)查看PDF(https://arxiv.org/pdf/2608.16765)项目页面(https://amuseum-whr.github.io/TraceBench/)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2608.16765)

通过代理获取此论文:

hf papers read 2608.16765

未安装最新CLI?curl \-LsSf https://hf.co/cli/install.sh \| bash

引用此论文的模型0

暂无模型关联此论文

在模型README.md中引用arxiv.org/abs/2608.16765即可从本页面关联。

引用此论文的数据集0

暂无数据集关联此论文

在数据集README.md中引用arxiv.org/abs/2608.16765即可从本页面关联。

引用此论文的Space0

暂无Space关联此论文

在Space的README.md中引用arxiv.org/abs/2608.16765即可从本页面关联。

包含此论文的收藏0

暂无收藏包含此论文

将此论文添加到收藏(https://huggingface.co/new-collection)即可从本页面关联。

相似文章

Trace:基于分类指导的多领域视觉推理环境

Hugging Face Daily Papers

TRACE是一个基于分类指导的环境,包含跨11个领域的1000个视觉推理任务。在64,000个TRACE实例上训练Qwen2.5-VL-3B和Qwen2.5-VL-7B,使其在24个外部基准上的宏平均性能分别提升了3.51和4.06个百分点。

这个编辑正确吗?一个面向推理感知的图像编辑的多维度基准

Hugging Face Daily Papers

本文介绍了RE-Edit,一个用于评估图像编辑系统的基准,涵盖五个推理维度(物理、环境、文化、因果、指代),旨在评估逻辑一致性而不仅仅是视觉合理性。该基准包含1000个样本,评估了十个开源模型和两个商业模型,结果表明即使是先进系统在隐式多维度推理方面也存在困难。

MemoBench:动态变化环境中世界建模的基准测试

Hugging Face Daily Papers

MemoBench是一个诊断基准,用于评估视频生成模型在动态变化环境中的记忆一致性,其中物体消失并以更新后的状态重新出现。它包括360个真实视频片段和一个结合自动指标与基于VQA评估的测试套件,揭示了记忆一致性挑战的洞见。