论文页 - 为何视频仍然如此昂贵？视频与视听大语言模型推理效率机制综述

来源：https://huggingface.co/papers/2609.10355

摘要

本综述研究了视频大语言模型的推理效率技术，分析了从帧采样、编码、令牌压缩到语言模型阶段的成本降低效果，并指出了评估方面的不足。

视频理解领域正迅速向视频大语言模型（VideoLLMs）演进：这类系统将视频表示与预训练大语言模型相结合，并根据文本提示进行生成。它们在图像描述、问答、检索和时序定位方面的强大性能，伴随着计算和内存成本随帧数和上下文长度增长而增加，限制了其在实时、移动和资源受限场景中的部署。本综述涵盖了视觉及视听VideoLLMs报告了具体参数量、每个输入FLOPs、延迟、内存或视觉与音频令牌数量降低的推理效率机制。我们分析了贯穿帧采样、模态编码、连接器级令牌缩减以及LLM预填充与解码各环节的瓶颈。我们按这些机制作用的流水线阶段组织方法，涵盖了自2022年末以来开发的VideoLLMs，以及至今仍是当前流水线组件的早期帧采样和视觉编码器机制。我们在可用的情况下，整理了文献中报道的在相同主机模型和输入协议下的准确率-成本比较，并将它们与跨论文的异构证据区分开来，同时指出了在视听效率和标准化评估方面的差距。我们维护了一个资源库：https://github.com/momentslab/awesome-efficient-videollm。

查看arXiv页面 (https://arxiv.org/abs/2609.10355) 查看PDF (https://arxiv.org/pdf/2609.10355) 项目主页 (https://www.killian-steunou.com/videollm-survey/) GitHub (https://github.com/momentslab/awesome-efficient-videollm) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.10355)

在您的代理中获取此论文：

hf papers read 2609.10355

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

无模型链接此论文 在模型的README.md中引用 arxiv.org/abs/2609.10355 以从本页链接。

引用本文的数据集 0

无数据集链接此论文 在数据集的README.md中引用 arxiv.org/abs/2609.10355 以从本页链接。

引用本文的空间 0

无空间链接此论文 在空间的README.md中引用 arxiv.org/abs/2609.10355 以从本页链接。

包含本文的收藏 0

无收藏包含此论文 将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页链接。