TRACE-Bench:分解与诊断多参考图像生成
摘要
TRACE-Bench 提出一个组合算子框架和基准,用于诊断多参考图像生成能力,通过将任务分解为原子操作进行详细评估。
查看缓存全文
缓存时间: 2026/08/18 11:53
论文页面 - TRACE-Bench:多参考图像生成的分解与诊断
来源:https://huggingface.co/papers/2608.16765
摘要
本研究提出了一种组合算子框架与TRACE-Bench基准测试,用于诊断多参考图像生成在原子操作层面的能力。
尽管近期统一多模态模型在多参考图像生成(https://huggingface.co/papers?q=multi-reference%20image%20generation)方面取得进展,现有基准测试仍围绕预定义任务类型(例如“主体组合”)构建,这类设计不适用于组合式场景,导致评估覆盖碎片化、复杂度不可控且诊断价值有限。认识到多样化的多参考任务共享同一组原子操作,我们从能力导向的视角出发,形式化定义了四个算子:锚定(https://huggingface.co/papers?q=Anchor)(f)、解耦(https://huggingface.co/papers?q=Disentangle)(g)、应用(https://huggingface.co/papers?q=Apply)(oplus)与组合(https://huggingface.co/papers?q=Compose)(C)。任何多参考提示均可表示为这些算子的组合公式(https://huggingface.co/papers?q=compositional%20formula),其结构复杂度由算子槽位数量化。基于此框架,我们构建了TRACE-Bench(https://huggingface.co/papers?q=TRACE-Bench),包含约1600个评估案例(涵盖1-8个槽位),基于631个公式模板和约4000张涵盖多元艺术风格与现实主体的参考图像。公式结构直接驱动算子对齐评估(https://huggingface.co/papers?q=operator-aligned%20evaluation)方案,实现分能力评分,并通过诊断树分析(https://huggingface.co/papers?q=diagnostic%20tree%20analysis)进行递归式故障定位。对9个领先模型的评估揭示了整体评分无法捕捉的关键瓶颈:主要障碍在于解耦(https://huggingface.co/papers?q=disentangle)能力(g)与属性绑定(https://huggingface.co/papers?q=attribute%20binding)(oplus),而非场景级组合((C)),即使最优模型在属性保真度上的得分也仅为0.74。项目页面:https://amuseum-whr.github.io/TraceBench
查看arXiv页面(https://arxiv.org/abs/2608.16765)查看PDF(https://arxiv.org/pdf/2608.16765)项目页面(https://amuseum-whr.github.io/TraceBench/)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2608.16765)
通过代理获取此论文:
hf papers read 2608.16765
未安装最新CLI?curl \-LsSf https://hf.co/cli/install.sh \| bash
引用此论文的模型0
暂无模型关联此论文
在模型README.md中引用arxiv.org/abs/2608.16765即可从本页面关联。
引用此论文的数据集0
暂无数据集关联此论文
在数据集README.md中引用arxiv.org/abs/2608.16765即可从本页面关联。
引用此论文的Space0
暂无Space关联此论文
在Space的README.md中引用arxiv.org/abs/2608.16765即可从本页面关联。
包含此论文的收藏0
暂无收藏包含此论文
将此论文添加到收藏(https://huggingface.co/new-collection)即可从本页面关联。
相似文章
MultiRef-Compass: 迈向多参考到音频视频生成的全面评估
本文介绍了MultiRef-Compass,这是针对多参考到音频视频生成的全面基准,包含350个精心挑选的样本和评估协议,涵盖四个维度:基础质量、参考一致性、音视频一致性和指令遵循。
Trace:基于分类指导的多领域视觉推理环境
TRACE是一个基于分类指导的环境,包含跨11个领域的1000个视觉推理任务。在64,000个TRACE实例上训练Qwen2.5-VL-3B和Qwen2.5-VL-7B,使其在24个外部基准上的宏平均性能分别提升了3.51和4.06个百分点。
这个编辑正确吗?一个面向推理感知的图像编辑的多维度基准
本文介绍了RE-Edit,一个用于评估图像编辑系统的基准,涵盖五个推理维度(物理、环境、文化、因果、指代),旨在评估逻辑一致性而不仅仅是视觉合理性。该基准包含1000个样本,评估了十个开源模型和两个商业模型,结果表明即使是先进系统在隐式多维度推理方面也存在困难。
CPI-Bench:一个全面、实用且智能的真实世界图像编辑基准
CPI-Bench 是一个针对真实世界图像编辑的全面基准,评估多图像任务、实际应用和基于推理的编辑,以更好地区分模型性能。
MemoBench:动态变化环境中世界建模的基准测试
MemoBench是一个诊断基准,用于评估视频生成模型在动态变化环境中的记忆一致性,其中物体消失并以更新后的状态重新出现。它包括360个真实视频片段和一个结合自动指标与基于VQA评估的测试套件,揭示了记忆一致性挑战的洞见。