论文页面 - OPD-V：模态平衡的视觉同策略自蒸馏

来源：https://huggingface.co/papers/2608.05131

摘要

同策略自蒸馏（OPSD）已成为提升多模态大语言模型（MLLM）视觉推理能力的标准后训练方法。现有方法从多样化输入来源中提取特权信息来引导自蒸馏。然而，这些设计忽视了模态失衡——这一 MLLM 推理中固有的挑战。当文本信息主导生成过程时，模型无法充分整合其多模态输入。因此，精心设计的特权信息仍未被充分利用，从而限制了 OPSD 的有效性。为了审视这一局限，我们构建了一个带有放大图像的正教师和一个带有掩码图像的负教师，它们表现出不同程度的模态失衡。其推理正确性与 token logits 的变化表明，模态平衡本身即可作为特权信息。受此发现启发，我们提出了 OPD-V，一种通过正教师和负教师实例化此类信息的视觉 OPSD 范式。正模态平衡 Logits 边际定义了一个模态平衡信任区域，用于选择用于自蒸馏的同策略 token。在 6 个基准、4 个 MLLM 骨干和 5 种后训练方法上的实验表明，OPD-V 在降低训练成本的同时，持续提升了推理性能。

查看 arXiv 页面 (https://arxiv.org/abs/2608.05131)查看 PDF (https://arxiv.org/pdf/2608.05131)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.05131)

在你的代理中获取此论文：

hf papers read 2608\.05131

没有最新 CLI？curl \-LsSf https://hf.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型关联此论文 请在模型 README.md 中引用 arxiv.org/abs/2608.05131，以便从此页面链接到该模型。

引用此论文的数据集0

暂无数据集关联此论文 请在数据集 README.md 中引用 arxiv.org/abs/2608.05131，以便从此页面链接到该数据集。

引用此论文的 Space0

暂无 Space 关联此论文 请在 Space README.md 中引用 arxiv.org/abs/2608.05131，以便从此页面链接到该 Space。

包含此论文的收藏集0

暂无收藏集包含此论文 将此论文添加到收藏集 (https://huggingface.co/new-collection)，以便从此页面链接到该收藏集。