论文页面 - Stage-adaptive Token Selection for Efficient Omni-modal LLMs

来源：https://huggingface.co/papers/2605.20035

摘要

SEATS 是一种无需训练、阶段自适应的 Token 选择方法，通过在预 LLM 和 LLM 阶段逐步剪枝冗余的视觉和音频 Token，降低了 om‑LLMs 的计算开销。

全模态大语言模型（om‑LLMs (https://huggingface.co/papers?q=om-LLMs)）通过将视频和音频编码为窗口级别交错的时间对齐 Token 序列（temporally aligned token sequences (https://huggingface.co/papers?q=temporally%20aligned%20token%20sequences)），实现了统一的音视频理解（audio‑visual understanding (https://huggingface.co/papers?q=audio-visual%20understanding)）。然而，在整个 LLM 中处理这些密集的非文本 Token 会产生巨大的计算开销（computational overhead (https://huggingface.co/papers?q=computational%20overhead)）。虽然无需训练的 Token 选择（token selection (https://huggingface.co/papers?q=token%20selection)）可以降低这一成本，但现有方法要么仅关注纯视觉输入，要么仅在 LLM 之前以固定的每模态比例剪枝 om‑LLM Token，无法捕获跨模态 Token 重要性（cross‑modal token importance (https://huggingface.co/papers?q=cross-modal%20token%20importance)）在各层之间的演化。为解决这一局限，我们首先分析了 om‑LLMs (https://huggingface.co/papers?q=om-LLMs) 的逐层 Token 依赖（layer‑wise token dependency (https://huggingface.co/papers?q=layer-wise%20token%20dependency)）。我们发现视觉和音频依赖呈现块状模式，并随深度逐渐减弱，这表明许多深层非文本 Token 在跨模态融合（cross‑modal fusion (https://huggingface.co/papers?q=cross-modal%20fusion)）完成后变得冗余。受此观察启发，我们提出 SEATS，一种用于高效 om‑LLM 推理的无需训练、阶段自适应的 Token 选择（token selection (https://huggingface.co/papers?q=token%20selection)）方法。在 LLM 之前，SEATS 通过注意力加权多样性选择（attention‑weighted diversity selection (https://huggingface.co/papers?q=attention-weighted%20diversity%20selection)）去除时空冗余。在 LLM 内部，它逐步跨块剪枝 Token，并使用查询相关性分数（query relevance scores (https://huggingface.co/papers?q=query%20relevance%20scores)）将保留预算从时间窗口动态分配给各模态。在深层，一旦跨模态融合（cross‑modal fusion (https://huggingface.co/papers?q=cross-modal%20fusion)）完成，它便移除所有剩余的非文本 Token。在 Qwen2.5‑Omni 和 Qwen3‑Omni 上的实验表明，SEATS 有效提高了推理效率。仅保留 10% 的视觉和音频 Token，它实现了 9.3 倍 FLOPs 缩减（FLOPs reduction (https://huggingface.co/papers?q=FLOPs%20reduction)）和 4.8 倍预填充加速（prefill speedup (https://huggingface.co/papers?q=prefill%20speedup)），同时保持了 96.3% 的原始性能。

查看 arXiv 页面 (https://arxiv.org/abs/2605.20035)查看 PDF (https://arxiv.org/pdf/2605.20035)项目页面 (https://xxayt.github.io/SEATS/)GitHub2 (https://github.com/xxayt/SEATS)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.20035)

在你的智能体中获取此论文：

hf papers read 2605\.20035

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

尚无模型链接至此论文

在模型 README.md 中引用 arxiv.org/abs/2605.20035 即可从本页面链接。

引用本文的数据集0

尚无数据集链接至此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.20035 即可从本页面链接。

引用本文的 Space0

尚无 Space 链接至此论文

在 Space README.md 中引用 arxiv.org/abs/2605.20035 即可从本页面链接。

包含本文的收藏1