CAPEval：一种跨越理解与生成的解耦式图像描述评估方法

Hugging Face Daily Papers 论文
caption-evaluation vision-language multimodal benchmark coverage precision

摘要

介绍了CAPEval，一个将覆盖率和精确度解耦的图像描述评估框架，表明覆盖率能更好地预测视觉-语言理解性能，而精确度则能更好地预测文本到图像生成性能。

图像描述（Captions）是多模态理解和文本到图像生成的主要监督信号。然而，先前的评估将描述质量视为单一的标量目标，这混淆了两个不同的属性：（1）描述覆盖了多少视觉信息；（2）图像支撑描述中陈述断言的可靠性。为此，我们设计了一个解耦的描述评估基准——CAPEval（覆盖率和精确率评估），其中包含人工编写的真值描述（ground-truth captions）和人工验证的原子清单项。具体而言，CAPEval 将描述质量分解为覆盖率（Coverage）和精确率（Precision）。前者量化描述覆盖真实事实内容的彻底程度，后者反映描述中所有声明的实际正确率。我们选取了10个描述生成器（captioners），并进一步使用它们从四个模型族开展受控的下游端到端实验，其中描述来源是唯一变量。经验上，我们发现一种一致的任务依赖分离：覆盖率是理解性能的更强相关性指标，而精确率是生成性能的主导预测指标。这种解耦评估范式不仅提供更细粒度的描述质量诊断，还为针对不同下游任务选择和优化描述生成器提供了可操作的指导。
查看原文
查看缓存全文

缓存时间: 2026/08/05 05:43

论文页面 - CAPEval：一种将字幕评估解耦为理解与生成的方法

来源：https://huggingface.co/papers/2608.02589 代码：https://github.com/liuzhipenggg/CAPEval

假设一张图片包含 10 个事实性陈述：字幕 A 涵盖了其中 9 个，但其中 2 个表述有误，而字幕 B 只提到了 5 个，且全部事实正确。哪个字幕质量更高？

你可能会感到困惑。

这个问题很难用一个单一的聚合分数来解决，因为每个字幕各有优点。字幕 A 的优势在于其全面性，而字幕 B 的优势在于事实准确性。

在过去几年中，越来越多的研究工作使用视觉语言模型来重新生成训练图像的字幕，旨在通过更丰富、更准确的字幕来提高数据集质量。字幕在多模态模型训练中的重要性现已得到广泛认可。

然而，正如开头的例子所展示的，一个更根本的问题仍然未被充分理解：什么样的字幕才能真正有益于下游模型的训练？

为了解决这个问题，我们提出了一个新的字幕评估框架：CAPEval（Coverage And Precision Evaluation，覆盖度与精确度评估）。与以往孤立评估字幕的基准不同，我们进一步训练视觉语言模型和文生图模型，使用由不同字幕模型生成的字幕。通过控制变量实验，我们考察了字幕的不同质量属性最终如何影响下游模型性能。

我们的论文发现了一个清晰的任务相关解耦：覆盖度是理解性能的更强相关因素，而精确度是生成性能的主导预测因素。

相似文章

OmniCapBench：面向细粒度音视频字幕的深度结构化评估框架

Hugging Face Daily Papers

OmniCapBench 提出一个深度结构化的音视频字幕评估框架，将预测目标从自由文本转为可验证的原子评估单元（实体引用、视觉镜头、音频事件），在 786 个密集标注视频上区分多模态大模型的感知错误，揭示前沿模型长时程音视觉推理能力薄弱。

RefCaptioner：多参考图像 grounded 视频字幕生成

Hugging Face Daily Papers

介绍了多参考图像 grounded 视频字幕生成任务，并提出了 RefCaptioner，一个两阶段后训练框架，结合混合数据 SFT 和分层覆盖率折扣 GRPO。论文还介绍了 MRVBench，一个用于评估字幕事实性和多参考图像 grounding 的基准。

Reviso：视频字幕生成中并非所有视觉证据都值得同等关注

Hugging Face Daily Papers

Reviso 是一个智能体视频字幕生成框架，采用分层的 Context-Focus-Points（上下文-焦点-目标）规划与主动感知机制来优先关注关键视觉证据，并通过 GRPO 及专用奖励进行训练，在四个视频字幕生成基准上超越了开源基线模型。