论文页面 - CoVeR：基于覆盖率的视觉语言模型多视图3D推理token剪枝方法

来源：https://huggingface.co/papers/2609.08345

摘要

CoVeR是一种无需训练的空间token选择器，它通过对多视角视觉token施加精确预算约束并确保完整场景覆盖，来保持3D推理性能。

将3D场景表示为多视角图像，使2D视觉语言模型（https://huggingface.co/papers?q=2D%20VLMs）能够复用预训练先验知识实现3D推理，从而规避了标注3D数据稀缺的问题。然而，这种方法会产生数千个冗余视觉token，其计算成本随视角增加而增长。现有的视觉token剪枝方法主要分为两类，但在3D多视角场景中都存在局限性。基于学习重要性（https://huggingface.co/papers?q=Learned%20importance）的方法通过注意力或编码器特征对token进行排序；由于此处的冗余本质上是空间性的，它们会保留来自少数突出区域的近重复token，导致场景大部分区域未被表征。体素化（https://huggingface.co/papers?q=Voxelization）方法虽能改善空间覆盖（https://huggingface.co/papers?q=spatial%20coverage），但无法强制执行精确的token预算（https://huggingface.co/papers?q=token%20budget），且当多视角观测在3D空间重叠时会达到饱和，导致token保留率远低于目标值。我们证明空间覆盖（https://huggingface.co/papers?q=spatial%20coverage）与3D推理性能相关，并提出了CoVeR（https://huggingface.co/papers?q=CoVeR）——一种确定性、无需训练的选择器，仅使用token坐标而无需学习信号。CoVeR（https://huggingface.co/papers?q=CoVeR）选择的token能共同覆盖场景的每个区域，同时解决了两类方法的局限：它强制执行精确的场景级预算，突破体素化（https://huggingface.co/papers?q=voxelization）的饱和平台期，并避免了基于学习重要性（https://huggingface.co/papers?q=learned%20importance）方法的近重复选择问题。大量实验表明，CoVeR（https://huggingface.co/papers?q=CoVeR）在所有三个3D推理基准测试中均优于现有最优方法，并作为即插即用模块在四个VLMs上展现出良好的泛化能力。值得注意的是，仅使用约8%的视觉token，它就能保持完整token性能的93.5%，在所有基准测试中平均超越最优方法3.9个百分点。

查看arXiv页面 (https://arxiv.org/abs/2609.08345) 查看PDF (https://arxiv.org/pdf/2609.08345) 项目主页 (https://humansensinglab.github.io/CoVeR) GitHub (https://github.com/humansensinglab/CoVeR) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.08345)

通过代理获取此论文：

hf papers read 2609\.08345

尚未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

暂无模型链接此论文

在模型README.md中引用arxiv.org/abs/2609.08345，即可从本页面链接到该模型。

引用本文的数据集0

暂无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2609.08345，即可从本页面链接到该数据集。

引用本文的空间0

暂无空间链接此论文

在空间README.md中引用arxiv.org/abs/2609.08345，即可从本页面链接到该空间。

包含本文的收藏集0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面链接到该收藏集。