vision-tokens

本文提出 DPVR-LF，一种面向多模态大语言模型（MLLM）的模态不对称路由框架，该框架在视觉令牌饱和点将其路由到轻量级侧分支，并执行晚期融合，从而在减少视觉计算量的同时保持具有竞争力的性能。