视觉-语言-动作模型中的闭环神经激活控制

# 视觉-语言-行动模型中的闭环神经激活控制  
来源：https://arxiv.org/html/2606.00269  
Ramneet Kaur SRI International ramneet\.kaur@sri\.com  
Nathaniel D\. Bastian United States Military Academy nathaniel\.bastian@westpoint\.edu  
Olivera Kotevska Oak Ridge National Laboratory kotevskao@ornl\.gov  
Susmit Jha SRI International susmitjha@berkeley\.edu  
Yanzhao Wu Florida International University yawu@fiu\.edu  
Sumit Kumar Jha University of Florida sumit\.jha@ufl\.edu  
Anirban Roy SRI International anirban\.roy@sri\.com  

###### 摘要  
视觉-语言-行动（VLA）模型可以在测试时通过干预语义上有意义的内部方向来进行引导，但现有方法使用固定的引导系数，本质上以开环方式运行。这难以适应具身控制场景，因为任务状态和概念误差会随时间演变，常常导致过度矫正、振荡以及任务成功率下降，尤其是对于速度和平滑度等时间相关行为。我们提出 CTRL-STEER，这是一个用自适应、时变控制信号替代静态干预强度的闭环框架。其核心思想是将表示与调节解耦：不假设时间概念由单个神经元直接控制，而是沿着运动对齐的残差方向进行引导，同时由反馈控制器在线调整干预幅度。我们分别使用基于 PID 和强化学习的控制器实现了该框架。在四个 LIBERO 任务套件上对微调后的 OpenVLA 策略进行的实验表明，与固定系数的基线方法相比，CTRL-STEER 实现了更稳定的概念调节以及更好的引导-任务成功权衡，且无需修改或重新训练基础模型。

## 1 引言  
我们提出一个用于视觉-语言-行动（VLA）模型[18 (https://arxiv.org/html/2606.00269#bib.bib17),5 (https://arxiv.org/html/2606.00269#bib.bib20)]受控引导的框架，以实现推理时自适应。VLA 模型联合处理视觉观测和语言指令，为机器人智能体生成底层控制动作，将感知、语义推理和控制统一在一个端到端可训练的架构中。典型的 VLA 模型将预训练的视觉-语言模型（VLM）作为感知-语义骨干，并与根据任务指令生成动作序列的动作解码器相结合[35 (https://arxiv.org/html/2606.00269#bib.bib19)]。VLM 编码场景上下文和任务意图，而动作头则自回归地预测动作 token。这类模型展现出强大的语义泛化能力，能够跨物体类别进行迁移，并凭借预训练的视觉-语言表示对新颖的自然语言指令进行稳健解读[15 (https://arxiv.org/html/2606.00269#bib.bib29),7 (https://arxiv.org/html/2606.00269#bib.bib36),5 (https://arxiv.org/html/2606.00269#bib.bib20)]。然而，它们在泛化到物理和几何变化方面仍存在局限，包括速度（快 vs. 慢）、空间属性（高度、角落、边缘）以及细粒度的配置变化[32 (https://arxiv.org/html/2606.00269#bib.bib28),25 (https://arxiv.org/html/2606.00269#bib.bib37),13 (https://arxiv.org/html/2606.00269#bib.bib38),8 (https://arxiv.org/html/2606.00269#bib.bib39),4 (https://arxiv.org/html/2606.00269#bib.bib41),30 (https://arxiv.org/html/2606.00269#bib.bib40),17 (https://arxiv.org/html/2606.00269#bib.bib42)]。这些因素需要精准地扎根于连续控制和系统动力学，而当前的 VLA 架构在这一方面仍然困难。为克服这一限制，我们提出一个面向 VLA 模型的受控引导框架，明确平衡任务完成与引导目标。如图2 (https://arxiv.org/html/2606.00269#S1.F2)（左）所示，我们的方法引导机械臂抬升得更高，同时相对于基础 VLA 策略保留任务执行能力。我们将其形式化为一个推理时自适应问题，不需要重新训练底层 VLA 模型。该设计的动机在于收集覆盖多样化物理配置的训练轨迹成本高昂且可扩展性有限，尤其是在新颖环境中[27 (https://arxiv.org/html/2606.00269#bib.bib30),24 (https://arxiv.org/html/2606.00269#bib.bib31),31 (https://arxiv.org/html/2606.00269#bib.bib32),34 (https://arxiv.org/html/2606.00269#bib.bib33),29 (https://arxiv.org/html/2606.00269#bib.bib34)]。引导 VLA 模型引入两个核心挑战：（1）识别与期望引导指令相关联的神经元；（2）调节这些神经元以影响预测动作，同时不损害任务成功率。第一个挑战在于机制可解释性[11 (https://arxiv.org/html/2606.00269#bib.bib1)]，其目标是将语义概念与内部神经表示联系起来。这本质上是困难的，因为神经元通常是多语义的，即可解释的特征可能分布在多个单元上，而非局限于单个神经元[9 (https://arxiv.org/html/2606.00269#bib.bib5)]。一旦识别出这样的神经元，第二个挑战就是调节它们的激活，以产生期望的行为变化同时保持任务成功执行。现有的方法[12 (https://arxiv.org/html/2606.00269#bib.bib3),16 (https://arxiv.org/html/2606.00269#bib.bib4)]通常采用开环策略，用固定系数缩放神经元激活以诱导目标行为，但不考虑对任务完成的后续影响。结果，引导性能的提升往往以任务成功率下降为代价，暴露出当两个目标必须同时满足时开环干预的局限。如图2 (https://arxiv.org/html/2606.00269#S1.F2)（右）所示，引导改善了目标行为，但除非明确纳入任务完成，否则常常导致执行失败。

为克服这些挑战，我们提出 CTRL-STEER，一个首先识别与连续控制相关概念（如运动属性）相关的神经元，然后在动作生成过程中对这些神经元的激活进行闭环、任务感知的引导的框架。为识别相关神经元，我们建立在[12 (https://arxiv.org/html/2606.00269#bib.bib3)]针对单一控制特征（如向上、向下、向左、向右、向前、向后）的机制可解释性方法基础上。具体来说，我们将前馈层中每个神经元的数值向量投影到词汇空间，并推导出一个语义嵌入以捕捉其主要方向含义。然后我们选择其嵌入与一组代表所关注控制概念的特征集合最相似的神经元，得到候选引导集。这与底层方法[12 (https://arxiv.org/html/2606.00269#bib.bib3)]不同，后者是在针对单个特征识别的神经元上进行引导，而不是针对与更宽泛控制概念相关的一组特征。对于闭环引导，我们采用比例-积分-微分（PID）控制器[1 (https://arxiv.org/html/2606.00269#bib.bib10)]来调节神经元激活，使其趋近于期望的引导目标。具体而言，PID 控制器调整应用于已识别神经元的缩放因子，从而在线塑造生成的动作序列。其比例项校正瞬时误差，积分项补偿过去累积的偏差，微分项则响应误差的变化率。虽然这一反馈机制通过纳入历史误差信息改善了对目标行为的对齐，但它并未显式地推理未来的任务结果。因此，尽管 PID 提升了引导性能，任务成功率仍可能次优。为在闭环框架中引入规划能力，我们进一步提出基于强化学习（RL）的控制器[19 (https://arxiv.org/html/2606.00269#bib.bib44)]。具体来说，我们使用一个同时捕捉引导遵从性和任务成功率的奖励来训练近端策略优化（PPO）[26 (https://arxiv.org/html/2606.00269#bib.bib45)]策略。不同于 PID，RL 控制器学习一个非线性控制策略，随时间自适应地调节神经元激活，从而能够协调优化引导目标和整体任务性能。如图1 (https://arxiv.org/html/2606.00269#S1.F1) 所示，开环控制面临基本的引导-成功权衡，而闭环引导在保持期望引导行为的同时实现了更强的任务成功率。

请参阅图注：图1：我们展示对任务“拿起书本并将其放入工具车的后仓”进行高度引导的效果。未引导的模型保持末端执行器较低。静态引导增加了高度，但未能实现高任务成功率。闭环引导在保持更高末端执行器轨迹的同时仍能完成任务。

我们对 VLA 模型的引导做出以下贡献：  
1. **闭环引导**。我们将 VLA 模型中的激活引导形式化为一个闭环控制问题。不是针对连续控制概念使用固定系数引导单个特征神经元，而是使用 PID 控制器在每一步动态调整引导系数来调节一组与概念相关的特征。  
2. **基于强化学习的闭环引导**。我们引入一个基于 RL 的控制器，学习一个非线性策略以随时间调节神经元激活，联合优化概念引导和任务完成。  
3. **实验评估**。在 LIBERO 基准上的实验表明，闭环 PID 控制器将任务成功率保持在与未引导基线相近的水平（71.37%），而强干预下的静态引导将成功率降至低至 1.8%。RL 控制器进一步将高度引导和速度引导的成功率分别提升至 73.88% 和 76.12%，同时保持期望的引导行为。

请参阅图注：图2：左图：对任务“将黄色和白色的杯子放入微波炉并关上门”进行高度概念引导的示例。目标是将手臂引导至期望方向，例如更大的高度。右图：i. 未引导的 VLA 模型沿低轨迹运动，未能正确放置杯子。ii. 静态引导 VLA 大幅增加了轨迹高度，与微波炉顶部发生碰撞。iii. CTRL-STEER —— 我们基于 RL 的闭环引导动态调整神经元系数，实现足够垂直间隙以成功放置，同时能够正确关门。

## 2 相关工作  
视觉-语言-行动（VLA）模型近年来已成为通用机器人策略的强大范式，它将视觉感知、语言理解和动作生成统一在单一模型内[18 (https://arxiv.org/html/2606.00269#bib.bib17),35 (https://arxiv.org/html/2606.00269#bib.bib19)]。早期工作表明，通过将连续动作离散化为 token 序列，可以适配预训练的视觉-语言模型（VLM）用于机器人控制，从而实现自回归动作生成[35 (https://arxiv.org/html/2606.00269#bib.bib19)]。基于这一思想，OpenVLA[18 (https://arxiv.org/html/2606.00269#bib.bib17)] 和 π₀[5 (https://arxiv.org/html/2606.00269#bib.bib20)] 等大规模系统将预训练的 VLM 骨干与机器人交互数据相结合，反映了机器人领域向基础模型的更广泛转变。通过利用 LLaMA[28 (https://arxiv.org/html/2606.00269#bib.bib6)] 等大规模预训练语言骨干以及视觉编码器，这些模型使语义推理能够直接塑造控制行为。

**机制可解释性**。机制可解释性旨在通过分析神经网络的内部表示并识别语义上有意义的计算组件来理解网络[11 (https://arxiv.org/html/2606.00269#bib.bib1),23 (https://arxiv.org/html/2606.00269#bib.bib25)]。在 Transformer 架构中，前馈层被解释为键值记忆，其中单个神经元对应于词汇空间中的可解释特征[11 (https://arxiv.org/html/2606.00269#bib.bib1),10 (https://arxiv.org/html/2606.00269#bib.bib2)]。最近，稀疏自编码器方法被提出用于将激活分解为更单语义的方向[6 (https://arxiv.org/html/2606.00269#bib.bib26),9 (https://arxiv.org/html/2606.00269#bib.bib5)]。这些发现共同表明，高层语义概念通常可以定位在大模型的特定激活子空间内，为可解释干预提供了基础。

**激活级引导与表示工程**。基于这些可解释性见解，近期工作探索了将激活级引导作为推理时调节模型行为的手段。在语言模型中，表示工程方法识别与高层概念相关的潜在方向，并通过注入或抑制这些方向来引导模型输出[22 (https://arxiv.org/html/2606.00269#bib.bib27),36 (https://arxiv.org/html/2606.00269#bib.bib8)]。将这一思想扩展到机器人领域，[12 (https://arxiv.org/html/2606.00269#bib.bib3)] 引入了一种引导 VLA 模型的方法，通过识别语义对齐的前馈神经元并调节其激活。他们的结果在仿真和真实世界机器人中均展示了零样本行为调节，表明与控制相关的语义结构在预训练表示中依然存在。然而，这些干预通常是开环的：引导系数是固定的或手动选择的，并在整个执行过程中保持不变。因此，它们没有考虑任务级反馈或概念引导与任务完成之间不断演变的权衡。

**机器人中的反馈控制**。相比之下，经典机器人系统依赖闭环控制在不确定性下调节行为。诸如 PID 和基于强化学习（RL）的策略等控制器利用观测误差和任务目标在线调整控制信号[3 (https://arxiv.org/html/2606.00269#bib.bib24),2 (https://arxiv.org/html/2606.00269#bib.bib9)]。这些反馈机制使智能体能够对环境变化做出响应，在执行过程中纠正偏差，并更有效地平衡竞争目标。我们的工作通过将 VLA 模型中的神经元级概念调节形式化为闭环控制问题，将激活级引导与经典反馈控制联系起来。我们不应用固定的引导系数，而是引入自适应控制器，在推理过程中调节内部激活，从而实现语义概念对齐与任务成功之间的更好平衡。

## 3 方法  
我们将 VLA 模型中的引导形式化为一个闭环控制问题，其中与概念相关的神经元激活被动态调节，以在保持任务性能的同时诱导期望的运动行为。我们的方法包含两个组成部分。首先，我们使用机制可解释性过程识别与控制相关特征关联的神经元。其次，我们引入两个闭环控制器——一个 PID 控制器和一个强化学习（RL）控制器——它们在推理过程中自适应地调节这些神经元，以平衡引导和任务执行。框架概览如图3 (https://arxiv.org/html/2606.00269#S3.F3) 所示。

请参阅图注：图3：我们展示用于 VLA 模型受控引导的 CTRL-STEER 框架。首