论文页面 - OmniDelta：面向全模态大语言模型令牌压缩的技能驱动预算分配

来源：https://huggingface.co/papers/2607.25669 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

新兴的全模态大语言模型（OmniLLMs）能够统一理解文本、音频和视频，但其长音频-视频令牌序列带来了显著的内存和推理成本。现有压缩方法主要关注在固定预算下选择重要令牌，而未充分探索前置的预算分配问题。我们表明，直接查询与音频/视频的相似度在跨模态预算分配中不可靠，而均匀的模态内预算可能会遗漏关键证据，同时保留冗余内容。为解决这些局限性，我们提出 OmniDelta，一种无需训练、技能驱动的框架，它将意图感知的跨模态分配与内容感知的模态内分配相结合。OmniDelta 首先构建音频和视频技能池，根据查询需求转移固定的保留令牌预算，然后利用局部复杂度和时间冗余性，在音频片段和视频帧上重新分配模态预算。产生的局部预算可以与现有的剪枝策略结合，在保持总保留令牌比率不变的同时，改变预算的分配位置。在四个音频-视频基准测试上使用两个 Qwen2.5-Omni 模型进行的实验表明，OmniDelta 在各种剪枝比率下建立了新的精度-效率帕累托前沿。在 Qwen2.5-Omni-7B 上保留 25% 令牌时，OmniDelta 将 GPU 内存减少 22.0%，并实现相比全令牌推理 1.64 倍的端到端加速。

查看 arXiv 页面 (https://arxiv.org/abs/2607.25669)查看 PDF (https://arxiv.org/pdf/2607.25669)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.25669)

在你的智能体中获取此论文：

hf papers read 2607\.25669

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2607.25669 可从此页链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.25669 可从此页链接。

引用此论文的 Spaces0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2607.25669 可从此页链接。

包含此论文的收藏集0

没有收藏集包含此论文

将这篇论文添加到一个收藏集 (https://huggingface.co/new-collection) 可从此页链接。