captioning

介绍了OmniCap-IF，这是首个用于评估全模态视频字幕生成中指令跟随能力的综合性基准，揭示了格式-内容权衡，并提出了改进的模型和数据集。

本文介绍Video2LoRA，一种直接从视频表示预测低秩适配（LoRA）权重的方法，能够在冻结的视觉-语言模型中实现高效的视频处理。它将视觉令牌负载降低最多1500倍，查询TTFT降低6-80倍，同时在视频摘要和字幕生成基准上保持性能。