论文页面 - OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

来源：https://huggingface.co/papers/2608.03812 作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

全模态大语言模型（Omni-LLMs）在音视频理解任务上取得了显著性能，但处理冗长且高度冗余的视觉和音频 token 序列会带来大量计算开销，因此需要激进的 token 压缩以实现高效部署。现有方法在低 token 预算下往往性能下降：LLM 前的压缩可能丢弃结构重要且全局分布的证据，而 LLM 内的压缩则往往未能充分利用查询条件下的音视频协作。为解决这些局限，我们提出 OmniPack，一个免训练框架，将 LLM 前的结构压缩与 LLM 内的任务相关语义细化相协调。在 LLM 之前，OmniPack 通过模态特定重要性、全局覆盖和相似性感知合并来移除结构冗余。在充分的多模态交互之后，它通过文本指导和音视频协作进一步整合多样化的任务相关表示。在五个基准测试和三个 Omni-LLM 主干上的大量实验表明，OmniPack 在不同保留比率下始终实现最佳性能-效率权衡，优于所有现有方法。值得注意的是，在 Qwen2.5-Omni-7B 上，OmniPack 保留了原始性能的 98.0%，同时将 FLOPs 降至 16.7%，并且仅用原始 FLOPs 的 6.8% 仍保持原始性能的 92.9%。

查看 arXiv 页面 (https://arxiv.org/abs/2608.03812)
查看 PDF (https://arxiv.org/pdf/2608.03812)
GitHub1 (https://github.com/RowanSu/OmniPack)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.03812)

在您的 agent 中获取此论文：

hf papers read 2608\.03812

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型

0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.03812 即可从本页链接到该模型。

引用此论文的数据集

0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.03812 即可从本页链接到该数据集。

引用此论文的 Spaces

0

没有 Space 链接此论文

在 Space README.md 中引用