标签
本文介绍了MoE-ViE，一种混合专家视觉编码器，能够高效扩展以支持图像和视频理解，并以更低的推理延迟超越更大的密集模型。
UltraViT 是一个面向大型视觉语言模型的延迟优化视觉编码器，专为端侧部署设计，采用金字塔架构和两阶段生成式预训练策略，以1.7倍速度实现最先进的性能。
ViQ提出了一种视觉量化框架，在离散表示中平衡了语义丰富性和细节保留，通过文本对齐预训练和邻近表示学习，支持原生分辨率输入，实现高效的多模态训练。
EarlyTom是一个无需训练即可在视觉编码器早期压缩视觉token的框架，可减少首个token生成时间和计算成本，同时保持准确性，实现高达2.65倍的TTFT降低。
LiteFrame 为视频大语言模型引入了一种高效的视频编码器，采用压缩令牌蒸馏技术，在保持准确率的同时，能够处理多达8倍的帧数并降低35%的延迟，为长视频理解开创了新的帕累托前沿。
LiteFrame提出了一种轻量级视频编码器，采用压缩令牌蒸馏（Compressed Token Distillation）训练，可降低延迟，并使视频大语言模型能够处理8倍以上的帧数以实现长视频理解，在降低计算量的同时提高准确性。
Delta-Adapter 通过从预训练视觉编码器中提取语义 delta 并通过基于 Perceiver 的适配器注入它们，实现了使用单对监督的基于示例的图像编辑，提高了准确性和泛化能力。