VisionWeave：将弹性视觉表征编织为多模态大语言模型的原生能力

Hugging Face Daily Papers 论文
multimodal-llm vision-token-efficiency adaptive-compression token-pruning inference-serving self-distillation

摘要

VisionWeave 引入了弹性视觉表征编织能力，作为多模态大语言模型（MLLM）的原生特性。该方法结合了门控空间池化器（Gated Spatial Pooler）与粒度路由器（Granularity Router），能够自适应地分配视觉 token。基于 Qwen3.8-27B 构建，VisionWeave 在保留 98.9% 性能的同时节省了 43.0% 的 token，并在 SGLang 推理服务中实现了 2.3 倍的吞吐量提升。

多模态大语言模型已成为视觉理解的主流范式，但将输入编码为密集的、固定大小的patch token会带来巨大的计算开销。然而，视觉信息的分布并不均匀：某些区域需要细粒度的细节，而另一些区域则可以用紧凑的表示来概括。下采样会牺牲这些细节，而现有的token剪枝和自适应方法在内容自适应粒度、任务泛化性以及与现代MLLM和服务基础设施的集成方面仍然存在局限性。克服这些局限性需要基础模型能够以端到端的方式学习——在何处以及以何种粒度——分配视觉表示，我们将这种原生能力称为弹性视觉表示编织（elastic visual representation weaving）。 我们提出VisionWeave，通过大规模训练在前沿级MLLM中实现了这一能力。它结合了两个组件：门控空间池化器在共享的MRoPE坐标系中构建粗粒度表示和原生细粒度表示，粒度路由器学习两者之间基于内容的自适应分配。仅通过自蒸馏，我们在Qwen3.5-4B上验证了这一能力，并扩展到Qwen3.8-27B，使用超过30K A100 GPU-hours进行训练。基于Qwen3.8-27B，VisionWeave能够根据视觉内容自适应调整token节省量，在八个基准测试中平均节省43.0%的token，同时保留98.9%的原生性能；相比之下，token剪枝基线在固定50%节省目标下仅能保留88%的性能。大量评估证实，该方法在多样化任务、不同分辨率和视频帧数下均实现了稳健的效率-质量权衡。部署在SGLang服务引擎上时，我们的方法实现了2.3倍的吞吐量提升，同时平均TTFT（首token延迟）降低54.4%，平均TPOT（每token延迟）降低60.6%。我们相信，这些结果共同表明弹性视觉编织是下一代多模态模型极具潜力的能力。
查看原文
查看缓存全文

缓存时间: 2026/10/12 06:55

论文页面 - VisionWeave：以原生能力实现弹性视觉表征的编织

来源：https://huggingface.co/papers/2610.07987 发布于 10 月 6 日

#2 当日最佳论文 (https://huggingface.co/papers/date/2026-10-12) 作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

多模态大语言模型（Multimodal Large Language Models, MLLMs）已成为视觉理解的主流范式，但其通过将输入编码为密集、固定大小的 patch token 的方式带来了可观的计算成本。然而，视觉信息的分布并不均匀：某些区域需要细粒度细节，而另一些区域则可以采用更紧凑的表征。下采样会损失细节，而现有的 token 剪枝和自适应方法在内容自适应粒度、任务泛化能力以及与现代 MLLMs 和服务基础设施的集成方面仍存在局限。要克服这些局限，需要基础模型能够端到端地学习在何处、以何种粒度分配视觉表征——我们将这种原生能力称为弹性视觉表征编织（elastic visual representation weaving）。

我们提出 VisionWeave，通过大规模训练在前沿级 MLLMs 中建立了这一能力。它结合两个组件：门控空间池化器（gated spatial pooler）在共享的 MRoPE 坐标系下，同时构建粗粒度表征与原生细粒度表征；粒度路由器（granularity router）则学习对二者进行内容自适应的分配。仅通过自蒸馏，我们先在 Qwen3.5-4B 上验证了该能力，并扩展至 Qwen3.8-27B，消耗超过 30K A100 GPU 小时。基于 Qwen3.8-27B，VisionWeave 能够根据视觉内容自适应调整 token 节省量，在八个基准测试中平均节省 43.0% 的 token，同时保留 98.9% 的原生性能；相比之下，以固定 50% 节省目标的 token 剪枝基线仅保留约 88% 的性能。大量评测证实，该方法在多样化的任务、分辨率和视频帧上均实现了稳健的效率-质量权衡。部署于 SGLang 推理引擎后，我们的方法实现了 2.3 倍的吞吐量提升，平均 TTFT（首 token 生成时间）降低 54.4%，平均 TPOT（每 token 生成时间）降低 60.6%。综上，我们相信这些结果表明弹性视觉编织是下一代多模态模型一项极具潜力的能力。

[查看 arXiv 页面 (https://arxiv.org/abs/2610.07987)] [查看 PDF (https://arxiv.org/pdf/2610.07987)] [GitHub34 (https://github.com/FFY0/VisionWeave)] [加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.07987)]

在你的智能体中获取此论文：

hf papers read 2610\.07987

尚未安装最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.07987 即可从此页面链接。

引用此论文的数据集 0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.07987 即可从此页面链接。

引用此论文的 Spaces 1

收录此论文的合集 1

相似文章

LLaVA-UHD v4：高效视觉编码在 MLLMs 中的关键要素是什么？

Hugging Face Daily Papers

本文介绍了 LLaVA-UHD v4，该模型通过采用基于切片（slice-based）的编码和 ViT 内部早期压缩，提高了多模态大语言模型中的视觉编码效率。它在保持或提升高分辨率图像任务性能的同时，将计算成本降低了 55% 以上。

精细粒度MLLM感知的区域级策略优化

Hugging Face Daily Papers

Vision-RL²是一种方法，通过区域级强化学习压缩视觉令牌，在不进行全模型微调的情况下，提升多模态大型语言模型在多个基准测试中的精细粒度感知性能。