论文页面 - Drop-Then-Recovery: 视觉-语言-动作模型有多冗余？

来源：https://huggingface.co/papers/2606.27755

作者：

,

,

,

,

,

,

,

,

,

摘要

研究表明，视觉-语言-动作模型中的语言主干对于机器人操作任务而言高度冗余，而视觉和动作通路更为关键，这提示未来架构需要更审慎地分配容量。

视觉-语言-动作（VLA）模型能够实现指令驱动的机器人操作，但它们继承了预训练VLM中过大的语言主干（https://huggingface.co/papers?q=language%20backbones），其容量远超短机器指令的需求。这引出一个基本问题：一个VLA模型在闭环控制中实际需要多少容量？本文通过使用Transformer块移除（https://huggingface.co/papers?q=transformer%20block%20removal）作为受控干预手段，研究VLA模型中的架构冗余。我们提出了Drop-Then-Recovery（https://huggingface.co/papers?q=Drop-Then-Recovery）（DTR）分析协议：从预训练VLA模型中移除选定块，然后微调所得模型，以衡量被移除的容量对于下游控制是否必要。为使这一干预更可靠，我们提出了GateProbe（https://huggingface.co/papers?q=GateProbe），一种一次性虚拟门灵敏度度量，用于根据各块对下游动作损失的贡献进行排序。在多种VLA架构、操作基准甚至真实机器人工业场景下，我们发现了移除后恢复能力的显著不对称性：\textit{语言主干（https://huggingface.co/papers?q=language%20backbones）对于标准机器人操作任务高度冗余，而视觉和动作通路（https://huggingface.co/papers?q=action%20pathways）对移除的容忍度则低得多}。在LIBERO（https://huggingface.co/papers?q=LIBERO）上，移除一半的LLM块甚至将OpenVLA-OFT（https://huggingface.co/papers?q=OpenVLA-OFT）在相同下游微调预算下的性能从95.0%提升至98.3%，而仅保留两个语言块仍能恢复基线水平的表现。这些结果表明，当前的VLA基准可能对深层语言接地和组合指令理解（https://huggingface.co/papers?q=compositional%20instruction%20understanding）施加的压力有限，未来的VLA架构应更审慎地在语言、视觉和动作组件之间分配容量。代码可在 https://github.com/s1ghhh/VLADrop 获取。

查看arXiv页面（https://arxiv.org/abs/2606.27755）查看PDF（https://arxiv.org/pdf/2606.27755）GitHub0（https://github.com/s1ghhh/VLADrop）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.27755）

在您的代理中获取此论文：

hf papers read 2606.27755

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用 arxiv.org/abs/2606.27755 可从本页链接到它。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2606.27755 可从本页链接到它。

引用此论文的Spaces0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2606.27755 可从本页链接到它。

包含此论文的收藏2