论文页面 - Where-OPD：基于合成场景的空间引导式多模态大模型在线自蒸馏

来源：https://huggingface.co/papers/2610.02117

摘要

在线自蒸馏（on-policy self-distillation）近期作为一种有效方法被提出，用于通过监督一个冻结的或 EMA 更新的学生模型（该学生版本接收特权信息）来提升语言模型的推理能力。然而，这一方法在多模态大语言模型（MLLM）上的应用在很大程度上尚未得到探索。近期的方法利用特权视觉信息（例如与问题对应的图像裁剪）来改善细粒度感知，但其收益仅限于受益于此类视觉放大的任务，并且要么需要人工标注的定位数据，要么需要外部教师模型。我们为 MLLM 引入了一种不同形式的在线自蒸馏方法，它为教师提供文本形式的、具有空间接地（spatially grounded）的指引，以识别与查询相关的视觉元素。我们使用程序化生成的场景，这些场景可自动获得物体身份和空间坐标，从而实现可扩展且无需标注的后训练。教师利用这种空间指引来定位并整合来自多个相关图像区域的证据，而学生则学习仅从图像和问题中复现这一行为。我们的方法在多个模型上持续提升了计数、文档理解和图表理解基准上的表现。值得注意的是，尽管后训练仅使用合成场景，由此带来的性能提升仍能迁移到真实世界的感知基准上，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 和 MME-RealWorld 上平均性能提升了 3.23 分。这些结果表明，通过在线自蒸馏，具有空间接地的特权信息能够诱导出更广泛的感知能力，从而实现远超后训练所用任务和数据分布的合成到真实的迁移。项目主页：https://github.com/sirkosophia/Where-OPD

查看 arXiv 页面 (https://arxiv.org/abs/2610.02117) 查看 PDF (https://arxiv.org/pdf/2610.02117) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2610.02117)

将此论文导入你的智能体：

hf papers read 2610.02117

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.02117，即可从本页面链接该模型。

引用该论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.02117，即可从本页面链接该数据集。

引用该论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.02117，即可从本页面链接该 Space。

包含该论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接该论文。