通过视觉动作结果推理对齐连接物理推理与任务泛化

# 弥合物理推理与任务泛化之间的鸿沟：基于视觉行动结果推理对齐

来源：https://arxiv.org/html/2607.06522  
Han-Jun Ko∗1  Jr-Jen Chen∗1  Haobo Yuan2  Hsin-Ying Lee2  Tiancheng Shen2  Ming-Hsuan Yang2  Yu-Chiang Frank Wang1  
1国立台湾大学  2加州大学默塞德分校  

###### 摘要

视觉语言模型（VLM）在交互式物理推理中难以泛化，尤其是在面对未见任务和环境时。其中两个关键失败模式尤为突出：与物理现实相矛盾的幻觉思维链（CoT）推理，以及模型推理与行动之间的错位。我们提出VAORA（Visual Action Outcome Reasoning Alignment，视觉行动结果推理对齐），一种新颖的奖励设计，直接解决了这两个问题。VAORA引入了两种互补的奖励：视觉对齐奖励（Visual Alignment Reward），它将VLM的推理锚定在与智能体自身行动无关的视觉上下文中；以及视觉-行动对齐奖励（Visual-Action Alignment Reward），它将推理扎根于由模型行动所引发的视觉结果中。两者结合，可抑制幻觉思维链并缩小推理与行为之间的差距。为了提升训练稳定性，我们进一步利用预训练的领域内专家智能体来估计成功概率，从而获得平滑且密集的奖励。我们在PHYRE和Virtual Tool上进行的实验支持了我们在新任务和未见环境设置下的表现，证实了通过VAORA可以诱导出扎根且可泛化的物理智能。

††脚注：∗表示共同第一作者。

## 1 引言

真正的物理智能体必须超越对场景配置的记忆，而是要对空间关系、动力学和因果关系进行推理，才能在陌生情境中有效行动。我们通过两种泛化形式来刻画这种能力：同一环境内的跨任务迁移，以及跨越不同物理模拟器的跨环境迁移。传统的非视觉语言模型智能体在满足这些标准方面受到其架构设计的根本性限制，这类架构通常将视觉编码器（如Vision Transformer (ViT)[16] 或ResNet18[25]）与用于直接动作预测的多层感知机（MLP）相结合[8,21,34,1,29]。由于感知和决策被压缩成一个单一的不透明映射，这些架构缺乏可解释的中间表示，使得解释或审计其决策变得困难。此外，先前的工作[27,15,13,20]表明，直接的视觉到动作学习往往利用虚假相关性，而非可迁移的物理原理。因此，在诸如PHYRE[8]等基准上训练的智能体在分布偏移下表现出脆弱的性能：在已见任务上的强性能是以牺牲泛化能力为代价的。

参见图注  
图1：基于CoT的物理推理中的两大障碍。幻觉CoT表示模型产生了物理上不正确的推理，导致错误的行动；相反，错位行动则通过视觉捷径绕过了物理对齐的推理，导致错误的行动规划。我们的VAORA旨在同时解决这两个问题，以正确的物理推理生成成功的行动。

视觉语言模型（VLM）[35,18]提供了一种根本不同的范式，用显式的因果推理取代了反应性映射。通过思维链（CoT）推理[41,26,40]，VLM能够形成对物理动力学的因果解释，从而增强跨任务和跨环境的泛化能力[47,49]。然而，两种主要的训练范式——监督微调（SFT）[11]和仅针对任务成功优化的强化学习——各自引入了结构性限制，阻碍了这一潜力[24,45]。先前的工作表明，SFT主要教会模型模仿专家推理的语言形式，但没有将推理过程扎根于物理现实[11,36,28,39]。相比之下，成功驱动的强化学习往往鼓励模型完全绕过CoT推理，退化为利用数据集偏差而非学习可迁移物理原理的捷径驱动的视觉到动作映射[37,42,43,13,20]。因此，这两种方法都未能建立CoT推理与物理现实之间的显式监督，留下了如图1所示的关键失败案例未被解决。

为了解决这两种失败模式，我们提出了**VAORA**（Visual Action Outcome Reasoning Alignment），一种新颖的奖励设计，用于培养VLM中扎根且可泛化的物理推理能力。VAORA由两个互补的奖励信号组成。**视觉对齐奖励**（Visual Alignment Reward）将推理过程锚定在与行动无关的视觉上下文中，从源头上抑制幻觉推理。**视觉-行动对齐奖励**（Visual-Action Alignment Reward）将推理轨迹扎根于模型行动所引发的视觉结果中，共同缓解幻觉CoT并缩小推理与行为之间的差距。为了进一步稳定连续动作交互式物理推理（其中奖励自然稀疏且嘈杂）中的训练，我们用从预训练领域内专家智能体导出的平滑且密集的成功概率估计来增强这些信号。

我们在多个物理推理基准上进行了大量实验，以评估我们方法的泛化能力。具体而言，我们通过在PHYRE[8]配置的子集上训练并在保留任务上评估来测试跨任务泛化能力。我们进一步通过从PHYRE零样本迁移到Virtual Tool[2]来评估跨环境泛化能力。此外，在Craft Visual Question Answering (VQA)基准[5]上的实验表明，我们方法所诱导的改进的物理推理能力，能够从动作选择迁移到显式推理和问答任务中。

本研究的主要贡献如下：
- • **诊断洞察**：我们识别出SFT和成功驱动的RL都未能监督CoT推理与物理现实之间的连接，导致了两种基本失败模式：与物理现实相矛盾的幻觉思维链（CoT）推理，以及模型陈述的推理与其执行动作之间的错位。
- • **双重对齐奖励设计**：为了解决上述挑战，我们引入了VAORA，一种新颖的奖励框架，包含两个互补的奖励信号：视觉对齐奖励，它将推理锚定在与行动无关的视觉上下文中；以及视觉-行动对齐奖励，它将推理扎根于模型动作的视觉后果中。
- • **从物理推理到任务泛化**：我们通过在未见过的PHYRE任务[8]上超越DQN专家来展示跨任务泛化能力，同时实现了对Virtual Tool[2]的零样本跨环境迁移，匹配或超越了前沿闭源模型。这些泛化收益在Craft VQA基准[5]上通过超越动作选择的更深层物理理解得到了进一步支持。

## 2 相关工作

**交互式物理推理。** 交互式物理推理的范式依赖于任务成功驱动的RL智能体，包括基于策略和基于价值的方法（非VLM基础）[8,21,34,1,29]。尽管这些方法在已见任务上取得了强性能，但其架构设计在本质上限制了它们更广泛泛化的能力。相比之下，基于VLM的方法在被动物理推理[5,46,12]方面取得了显著进展，并展现出强大的可泛化性。然而，DeepPHY[44]上的结果表明，它们在交互式环境中的性能仍远非令人满意。在本工作中，我们通过将视觉扎根的奖励引入VLM训练来增强泛化能力，并通过学习RL智能体预测来稳定训练，从而弥合这一差距。

**VLM物理推理的训练范式。** VLM中物理推理的现有方法大致分为两类：监督微调（SFT）[11,36]和利用成功驱动奖励的强化学习（RL）[38,14]。SFT从前沿闭源模型中蒸馏推理能力，鼓励VLM模仿专家推理轨迹。然而，在没有将推理扎根于可观察的物理结果的情况下，SFT往往产生流畅但物理上不一致的思维链[28,39]。相比之下，成功驱动的RL直接优化任务完成，但往往鼓励捷径行为，绕过CoT推理并利用数据集特定的相关性，而不是学习因果理解[37,42,43]。这两种范式都未能监督推理轨迹与物理现实之间的对齐，限制了物理推理的泛化能力[6]。

**结果预测作为物理监督。** 认识到没有扎根于物理现实的模型难以进行因果推理，先前的工作探索了通过几个方向纳入环境反馈：学习物体动力学模型[9,19]、预测未来状态以对候选计划进行排序[21,34]、以及利用外部工具如语言扎根的模拟器[48]或文本到视频生成器[17]。尽管形式多样，这些方法都依赖于独立的动力学模块或生成工具作为中介，而不是将交互后的结果直接端到端地纳入VLM推理中。

**用于VLM推理的强化学习。** 通过RLHF[33]和GRPO[38]等方法，应用RL训练VLM已获得广泛关注，这些方法为推理对齐提供了基于策略梯度的优化。然而，先前的工作一致表明，在稀疏且嘈杂的奖励下进行优化可能导致严重的训练不稳定性和模型崩溃[37,42,43,50,10]。受这些发现启发，我们利用从预训练专家智能体导出的密集成功概率估计来稳定优化，并补充VAORA的奖励设计。

## 3 方法

参见图注  
图2：框架。VAORA由两个组件组成：(a) 视觉对齐奖励，将推理锚定在与行动无关的视觉上下文中。(b) 门控视觉-行动对齐奖励，将推理与模型行动的视觉结果对齐，并由专家模型估计的成功概率进行门控。

我们提出**VAORA**，一种新颖的奖励设计，直接解决了限制VLM在交互式物理推理中泛化能力的两个基本失败模式：与物理现实相矛盾的**幻觉CoT推理**，以及模型陈述推理与其实际动作之间的**错位**。管线的概览如图2所示。

### 3.1 问题形式化

交互式物理推理任务要求智能体干预一个物理场景，例如通过放置或发射物体，使得由此产生的动力学满足指定的目标。PHYRE[8]将这一挑战实例化为一个2D物理环境，其中智能体必须确定一个连续的单一动作，该动作触发一系列物理交互，从而导致任务成功。形式化地，给定一个初始场景观测 o ∈ O，由物理设置的视觉描绘和一个自然语言任务描述组成，模型需要生成一个思维链推理轨迹 r，随后是一个连续的单一动作：

a = [x, y, r] ∈ A ⊂ R^3, (1)

其中 x, y ∈ [0,1] 表示归一化的放置坐标，r ∈ [0,1] 表示干预球的归一化半径。环境执行 a 并返回一个交互后结果 v 以及二值任务成功信号 S ∈ {0,1}。

### 3.2 视觉行动结果推理对齐 (VAORA)

在第1节中识别的两种失败模式，即**幻觉CoT推理**和推理-动作**错位**，都源于一个共同的问题：模型的推理轨迹从未受到其在环境中干预的实际结果的监督。VAORA通过一个统一的对其原则来解决这两个问题，要求推理轨迹与环境的**视觉观测**保持一致。具体而言，我们在一个共享的符号空间中，将推理链与初始场景观测和交互后的环境结果进行对齐。形式化地，令 r 表示模型的推理链，o 表示初始场景观测，v 表示交互后的环境结果。