论文页面 - SCOPD：基于稀疏上下文的策略内自蒸馏实现高效视觉-语言模型

来源：https://huggingface.co/papers/2609.34044
作者：

摘要

推理视觉-语言模型（VLMs）将图像和视频处理为长序列的视觉token，导致推理成本高昂。无需训练的token剪枝技术可以降低这一成本，但过度压缩会显著降低性能，通常归因于任务相关视觉信息的不可逆丢失。我们发现这种解释并不完整。在固定上下文Pass@K分析中，从同一剪枝视觉表示中重复采样能够恢复贪心解码遗漏的许多案例，表明有用的视觉证据可能仍然存在但未被可靠使用。我们将此称为表示-利用差距。基于此观察，我们提出SCOPD——一种稀疏上下文策略内自蒸馏框架，其中学生模型从剪枝的视觉token生成推理轨迹，而享有完整上下文特权的教师模型监督相同的策略内前缀。SCOPD无需真实响应、架构更改或额外的推理时计算。我们进一步引入SCOPD+，通过小规模视觉预算干预来识别对视觉敏感的响应位置，并选择性地蒸馏这些部分。在10%视觉token保留率下，Vanilla模型在13个基准测试中保留了未剪枝性能的86.37%。SCOPD将其提升至90.49%，而SCOPD+进一步改善至92.43%。在不同token预算、基准测试和剪枝算子下，我们的结果表明高效推理不仅取决于哪些视觉信息在剪枝后保留，还取决于模型学会可靠地使用这些信息的程度。

查看arXiv页面（https://arxiv.org/abs/2609.34044）查看PDF（https://arxiv.org/pdf/2609.34044）项目页面（https://armenjeddi.github.io/scopd/）GitHub0（https://github.com/Enmingzz/scopd-repo）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2609.34044）

引用本文的模型0

暂无模型链接本文

在模型README.md中引用arxiv.org/abs/2609.34044以从本页面链接。

引用本文的数据集0

暂无数据集链接本文

在数据集README.md中引用arxiv.org/abs/2609.34044以从本页面链接。

引用本文的空间0

暂无空间链接本文

在空间README.md中引用arxiv.org/abs/2609.34044以从本页面链接。

包含本文的收藏0

暂无收藏包含本文

将本文添加到收藏（https://huggingface.co/new-collection）以从本页面链接。