论文页面 - RefCaptioner：多参考图像锚定的视频描述生成

来源: https://huggingface.co/papers/2607.28509 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

现有视频描述生成模型能够生成视频内容的自然语言描述，但无法将局部视觉元素显式地锚定到多个参考图像。我们引入了多参考图像锚定的视频描述生成（multi-reference image-grounded video captioning），这一新任务要求生成事实性视频描述并进行短语级别的参考锚定，并为此提出了RefCaptioner，一个两阶段后训练框架。RefCaptioner结合混合数据SFT与层级覆盖折扣GRPO（Hierarchical Coverage-Discounted GRPO），在保持通用视频描述能力的同时，联合提升参考选择、短语级绑定、干扰项拒绝和跨参考一致性。为支持训练，我们构建了一个包含20,000个视频和171,354张参考图像的语料库。我们还引入了MRVBench，一个用于在真实世界和AI生成的视频上评估描述事实性和多参考锚定能力的基准。实验表明，RefCaptioner在开源模型中取得了最佳整体性能，同时在标准视频描述基准上保持竞争力。人工评估进一步证实，其描述更受标注者青睐，并且在使用开源和专有视频生成器时，能够实现更忠实于原始资源的视频重建。

查看arXiv页面 (https://arxiv.org/abs/2607.28509)查看PDF (https://arxiv.org/pdf/2607.28509)GitHub1 (https://github.com/pkucs-Ltf/RefCaptioner)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.28509)

引用此论文的模型1

TengfeiLiuCoder/RefCaptioner 图像-文本到文本 • 9B • 更新于24分钟前 (https://huggingface.co/TengfeiLiuCoder/RefCaptioner)

引用此论文的数据集0

没有链接到此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2607.28509 以从此页面链接它。

引用此论文的 Spaces0

没有链接到此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2607.28509 以从此页面链接它。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接它。