INAR-VL: 面向边缘-云端视觉语言推理的输入感知路由

arXiv:2605.18853v1 公告类型: 新 摘要: 在边缘部署视觉语言模型（VLM）面临延迟与准确率之间的权衡：云端执行能提供高质量的预测，但会产生通信延迟和能耗成本；而纯边缘执行虽然更快，但由于模型容量有限，准确率较低。图像质量和推理复杂度的异质性进一步加剧了这一权衡，使得静态部署方案并非最优。我们提出了 INAR-VL，一种用于两层部署中多模态推理的轻量级边缘-云端路由系统。INAR-VL 在边缘和云端维护互补的 VLM，并使用轻量级的图像和文本复杂度信号来指导路由和模型选择，在本地执行简单查询，同时在有益时将复杂查询卸载至云端。在视觉问答任务上的评估表明，INAR-VL 在边缘执行了 36% 的请求，延迟降低了 24%，能耗降低了 26%，并保留了 97% 的云端准确率。