论文页面 - 利用自监督引导提升视觉指令微调

来源：https://huggingface.co/papers/2604.12966

摘要

通过自然表述的自监督任务增强视觉指令微调，可以在不增加额外架构或标注的情况下，提升多模态语言模型在视觉中心推理上的表现。

多模态大语言模型 (https://huggingface.co/papers?q=Multimodal%20large%20language%models)(MLLMs) 在许多视觉语言任务 (https://huggingface.co/papers?q=vision-language%20tasks) 上表现良好，但往往难以处理需要细粒度视觉推理 (https://huggingface.co/papers?q=visual%20reasoning) 的视觉中心问题。最新证据表明，这一局限并非源于视觉表示薄弱，而是因为指令微调 (https://huggingface.co/papers?q=instruction%20tuning) 过程中视觉信息利用不足——许多任务仅凭语言先验即可部分解决。我们提出一种简单轻量的方法，通过为视觉指令微调 (https://huggingface.co/papers?q=instruction%20tuning) 添加少量以自然语言指令形式表达的视觉基础自监督任务，来进行增强。通过将经典的自我监督预文本任务 (https://huggingface.co/papers?q=pretext%20tasks)（如旋转预测、颜色匹配、跨视角对应）转化为图像-指令-响应三元组 (https://huggingface.co/papers?q=image-instruction-response%20triplets)，我们引入了无法脱离视觉证据解决的监督信号。该方法无需人工标注、无需架构修改、也无需额外训练阶段。在多种模型、训练方案和基准测试上，仅注入一小部分（3%-10%）此类视觉基础指令，就能在视觉中心评估中持续提升性能。我们的发现强调了，通过简单调整训练数据分布，将带有视觉基础自监督学习任务的指令微调 (https://huggingface.co/papers?q=instruction%20tuning) 作为提升 MLLMs 视觉推理 (https://huggingface.co/papers?q=visual%20reasoning) 能力的强大杠杆。代码已开源：https://github.com/sirkosophia/V-GIFT

查看 arXiv 页面 (https://arxiv.org/abs/2604.12966) 查看 PDF (https://arxiv.org/pdf/2604.12966) GitHub13 (https://github.com/sirkosophia/V-GIFT) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.12966)

在你的代理中获取此论文：

hf papers read 2604.12966

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2604.12966 以在此页面建立链接。

引用此论文的数据集0

没有数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2604.12966 以在此页面建立链接。

引用此论文的空间0

没有空间关联此论文

请在空间 README.md 中引用 arxiv.org/abs/2604.12966 以在此页面建立链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。