论文页面 - BalCapRL：一种用于基于 RL 的 MLLM 图像字幕生成的平衡框架

来源：https://huggingface.co/papers/2605.07394

摘要

一种用于图像字幕生成的平衡强化学习框架，通过联合优化正确性、覆盖率和语言质量，在现有方法基础上提升了性能。

图像字幕生成 (https://huggingface.co/papers?q=Image%20captioning) 是计算机视觉中最基础的任务之一。由于其开放性特征，在多模态大语言模型 (https://huggingface.co/papers?q=multimodal%20large%20language%20models)（MLLMs）时代受到了广泛关注。为了追求更详细、更准确字幕，最近的研究越来越多地转向强化学习 (https://huggingface.co/papers?q=reinforcement%20learning)（RL）。然而，现有的字幕生成 RL 方法和评估指标往往强调狭隘的字幕质量概念，导致字幕生成核心维度之间的权衡。例如，以效用为导向的目标可能会鼓励产生噪声、幻觉或过长的字幕，这虽然能提升下游问答任务的性能，但会损害流畅性；而竞技场式目标则倾向于偏好流畅但通用的描述，实用性有限。为此，我们提出了一种更平衡的 RL 框架，联合优化感知效用的正确性、参考覆盖率和语言质量。为了有效优化由此产生的连续多目标奖励公式 (https://huggingface.co/papers?q=continuous%20multi-objective%20reward%20formulation)，我们对连续值的字幕生成奖励应用了 GDPO-style (https://huggingface.co/papers?q=GDPO-style) 的奖励解耦归一化 (https://huggingface.co/papers?q=reward-decoupled%20normalization)，并证明其性能优于原始 GRPO (https://huggingface.co/papers?q=GRPO)。此外，我们引入了条件长度奖励掩码 (https://huggingface.co/papers?q=length-conditional%20reward%20masking)，为字幕生成提供了更合适的长度惩罚。在 LLaVA-1.5-7B 和 Qwen2.5-VL 3B 和 7B 基础模型上，我们的方法 consistently 提升了字幕质量，在不同模型上取得了高达 +13.6 DCScore (https://huggingface.co/papers?q=DCScore)、+9.0 CaptionQA (https://huggingface.co/papers?q=CaptionQA) 和 +29.0 CapArena (https://huggingface.co/papers?q=CapArena) 的峰值增益。

查看 arXiv 页面 (https://arxiv.org/abs/2605.07394) 查看 PDF (https://arxiv.org/pdf/2605.07394) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.07394)

在你的 agent 中获取此论文：

hf papers read 2605\.07394

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2605.07394 即可从此页面链接。

引用此论文的数据集 0

暂无数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2605.07394 即可从此页面链接。

引用此论文的 Spaces 0

暂无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2605.07394 即可从此页面链接。

包含此论文的收藏集 0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。