标签
本综述研究了视频大语言模型的推理效率技术，分析了在帧采样、编码、令牌压缩和语言模型阶段的成本降低，同时识别了评估缺口。
Video-Oasis 揭示，现有视频基准测试中 55% 可以在没有视觉输入的情况下解决，暴露了当前视频理解模型的显著能力差距。最先进的模型在剩余的视频原生挑战上仅略高于随机猜测。
LiteFrame 为视频大语言模型引入了一种高效的视频编码器，采用压缩令牌蒸馏技术，在保持准确率的同时，能够处理多达8倍的帧数并降低35%的延迟，为长视频理解开创了新的帕累托前沿。