论文页面 - 更少的Token，更多的自我教学：面向极端视觉Token缩减的在策略自蒸馏

来源：https://huggingface.co/papers/2609.32353

摘要

视觉Token缩减是加速多模态大语言模型（MLLMs）的有效途径，但在极低的Token预算下，模型性能会迅速下降。现有工作已从视觉Token选择和基于训练的自适应两个方向探索了缩减视觉输入的可能性。我们更进一步，探讨一个被高度压缩的MLLM应如何从其自身生成状态所诱导的模式中学习。这一设定自然引出了在策略自蒸馏：一个被高度压缩的模型在其自身生成状态诱导的轨迹上接受监督训练，而其满Token的对应模型则作为信息丰富的教师。基于此洞见，我们提出了LT-OPD，一个用于极端视觉Token缩减的训练框架。学生模型仅使用一小部分视觉Token生成回复，而同一个MLLM的冻结满Token副本则沿着这些学生生成的轨迹提供分布监督。为了在视觉证据严重受限时稳定在策略学习，我们进一步引入了一种预算水平课程学习法，在训练过程中逐步减少Token预算。在Qwen3.5-4B上的九个基准测试中，LT-OPD将5%视觉Token保留率下的平均性能从68.6%提升至82.3%，在相同预算下超越了无训练、基于训练和基于强化学习的基线方法。这些增益也稳定地转移到了Qwen3.5-9B、GLM-4.6V-9B和LLaVA-OV-1.5-4B模型上。LT-OPD还将KV缓存使用量减少了85.2%，预填充FLOPs减少了85.4%，且没有带来额外的推理开销，这证明了在策略学习能显著恢复因极端视觉Token缩减而损失的能力。

查看arXiv页面 (https://arxiv.org/abs/2609.32353)查看PDF (https://arxiv.org/pdf/2609.32353)GitHub5 (https://github.com/Yrxxxxxxxx1007/LT-OPD)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.32353)

在您的Agent中获取此论文：

hf papers read 2609\.32353

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型README.md中引用arxiv.org/abs/2609.32353以从此页面链接。

引用此论文的数据集1

yyy051007/LT-OPD-14K 查看器• 更新于20分钟前 • 14k • 147 (https://huggingface.co/datasets/yyy051007/LT-OPD-14K)

引用此论文的Spaces0

没有Space关联此论文

在Space README.md中引用arxiv.org/abs/2609.32353以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)以从此页面链接。