将交错多模态推理桥接为统一决策过程
摘要
BRAID是一个框架,它将交错文本-图像-文本推理形式化为统一的马尔可夫决策过程,通过强化学习实现文本和视觉生成的联合优化,并由VLM裁判提供密集的轮次级反馈。
arXiv:2607.03748v1 公告类型:新的
摘要:统一多模态模型(UMM)在交错文本-图像推理方面显示出有前景的能力,但通过强化学习(RL)有效优化此类多轮生成仍然是一个开放挑战。现有方法将RL仅应用于文本步骤,将图像生成降级为监督替代,阻止了策略梯度通过跨异构模态的完整交错轨迹传播。这使得RL在UMM中的潜力在很大程度上未被利用。在本文中,我们介绍了**BRAID**(**B**ridging inte**R**le**A**ved mult**I**-modal reasoning as a unified **D**ecision process),这是一个简单的框架,它将多轮文本-图像-文本推理形式化为统一的马尔可夫决策过程(MDP),通过单一、原则性的RL目标实现文本和视觉生成的联合优化。BRAID计算共享的轨迹级优势,并将其一致地传播到文本令牌和图像去噪路径中,每条路径通过其模态本地的策略梯度机制进行优化。为了进一步解决长期信用分配问题,BRAID采用视觉语言模型(VLM)裁判,对每个中间图像在其推理效用上进行评分,提供密集的轮次级反馈以在关键视觉分支上加强学习。在空间推理和视觉感知基准上的实验表明,BRAID始终优于各种基线,确认了具有视觉思维指导的统一MDP公式对于有效的多模态推理至关重要。
查看缓存全文
缓存时间: 2026/07/07 04:35
# 将交错多模态推理桥接为统一决策过程 来源:https://arxiv.org/html/2607.03748 胡紫灿¹²\* 胡旭阳³\* 刘一鸣⁴ 龙祖伟² 刘伟² 郝云卓⁵ 顾佳伟⁶ 李林杰⁶ 程昱⁷ 孙振宏⁸ 顾微博² 孙星² 王智¹🖂 ¹南京大学 ²腾讯优图实验室 ³上海人工智能实验室 ⁴清华大学 ⁵浙江大学 ⁶华盛顿大学 ⁷香港中文大学 ⁸澳大利亚国立大学 联系方式:zicanhu@smail\.nju\.edu\.cn zhiwang@nju\.edu\.cn ###### 摘要 统一多模态模型(UMMs)在交错文本-图像推理方面展现出了令人期待的能力,然而,通过强化学习(RL)有效优化这种多轮生成仍然是一个开放挑战。现有方法仅对文本步骤应用强化学习,而将图像生成交由监督替代方法处理,这阻止了策略梯度通过异构模态间的完整交错轨迹传播。这使得强化学习在UMMs中的潜力远未得到充分利用。在本文中,我们提出了BRAID(将交错多模态推理桥接为统一决策过程),一个简单的框架,它将多轮文本-图像-文本推理建模为统一的马尔可夫决策过程(MDP),从而能够通过单一、遵循原则的RL目标联合优化文本和视觉生成。BRAID计算一个共享的轨迹级优势,并将其连贯地传播到文本token和图像去噪路径中,两者分别通过其模态原生的策略梯度机制进行优化。为了进一步解决长时程信用分配问题,BRAID采用一个视觉语言模型(VLM)评判器,为每张中间图像在推理效用上评分,从而在关键视觉分支处提供密集的轮次级反馈以强化学习。在空间推理和视觉感知基准上的实验表明,BRAID持续优于多种基线,这证实了对于有效的多模态推理,采用带有视觉思考指导的统一MDP公式至关重要。††脚注:\*同等贡献。本工作是在腾讯优图实验室实习期间完成的。🖂通讯作者。 ### 1 引言 见标题图1:SFT、半优化RL和BRAID。 近期出现的统一多模态模型(UMMs)(Chameleon Team, 2024 (https://arxiv.org/html/2607.03748#bib.bib1); Deng等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib4))在单一框架内无缝桥接不同模态之间的理解和生成,开辟了多模态推理的新前沿:交错文本-图像-文本思维链(TIT-CoT),其中言语思考与中间图像生成交替进行,将感知步骤外化到语言无法触及的范围(Gao等人, 2024 (https://arxiv.org/html/2607.03748#bib.bib19); Wang等人, 2024 (https://arxiv.org/html/2607.03748#bib.bib2); Cui等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib3))。其基本前提,通常被称为视觉优势假说(Wu等人, 2026 (https://arxiv.org/html/2607.03748#bib.bib20)),即对于物理基础任务,视觉生成提供了比言语推理更忠实的世界模型,而言语推理的表现力本质上受限于语言的符号性质。迄今为止,这一前提仅通过在有标注的TIT-CoT轨迹上进行监督微调(SFT)来追求(Gu等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib17); Chern等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib18)),而这种方法受限于高质量交错数据的成本和稀缺性。强化学习(RL)提供了一个原则性的替代方案:通过从任务奖励而非精心整理的数据中学习,它使模型能够自主发现超越静态数据所能教授的新颖推理策略,这一点在语言(Guo等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib21); Shao等人, 2024b (https://arxiv.org/html/2607.03748#bib.bib22))和多模态推理(Meng等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib23); Yang等人, 2025b (https://arxiv.org/html/2607.03748#bib.bib24))中已得到证明。然而,现有公式使得TIT-CoT仅被半优化:策略梯度仅流过文本token,而中间图像生成仍处于训练循环之外,这损害了交错推理所依赖的优势。COOPER(Zhang等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib27))优化了视觉生成,但通过一个独立的监督阶段进行。尽管DeepEyes(Zheng等人, 2025b (https://arxiv.org/html/2607.03748#bib.bib26))使用RL进行端到端训练,但其策略梯度仅到达视觉工具调用,而非图像生成过程本身,视觉推理仍未被纳入优化循环。同时,用于图像生成的RL已经建立成熟:DDPO(Black等人, 2023 (https://arxiv.org/html/2607.03748#bib.bib31))和DPOK(Fan等人, 2023 (https://arxiv.org/html/2607.03748#bib.bib32))将扩散去噪建模为MDP,后续工作将其扩展到FlowGRPO(Liu等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib33))和DiffusionNFT(Zheng等人, 2025a (https://arxiv.org/html/2607.03748#bib.bib34))中的流匹配。这些公式为统一模型的视觉分支提供了现成的RL工具包,但尚未被整合到交错推理场景中。同期工作UniGRPO(Liu等人, 2026a (https://arxiv.org/html/2607.03748#bib.bib36))将RL应用于两种模态,但仅限于单轮文本到图像生成。这些观察指向了一个关键的缺失部分:一个统一的RL框架,能够在交错TIT-CoT轨迹内联合优化文本和视觉推理,实现跨模态边界的端到端信用分配,并在交错策略的完整组合空间中进行探索。 为填补这一空白,我们提出了BRAID(将交错多模态推理桥接为统一决策过程),它将多轮文本-图像-文本推理建模为统一的MDP。该公式允许文本和视觉生成轮次在一个RL目标下联合优化,无需独立的训练阶段或模态特定的奖励设计。基于BAGEL(Deng等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib4)),BRAID将轨迹中的每一轮 \{text→image→text→⋯→answer\} 视为一个宏动作。然而,在单一目标下统一两种模态并非易事:文本分支产生逐token自回归似然,而图像分支通过流匹配遍历连续去噪路径,简单地将它们组合会因尺度不兼容而导致优化崩溃。BRAID通过推导一个共享的轨迹级优势,并将其引导至模态原生的策略梯度(文本的自回归token生成和图像的无似然流匹配目标)来解决模态边界问题。此外,BRAID引入了视觉思考过程奖励,以解决长时程TIT-CoT展开中的信用分配问题:一个VLM评判器为每张中间图像在推理轨迹中的效用打分,从而在关键视觉分支处提供轮次级反馈以强化学习。我们希望BRAID能够成为走向UMMs的简单、通用RL框架的一步,并激发对原则性、模态无关的策略优化范式的进一步研究。实验表明,在七个基准上,BRAID将BAGEL平均提升了+5.73,在仅有7B参数的情况下超越了GPT-4o,在SAT(+14.00)和V\*Bench(+10.76)上提升显著。值得注意的是,Maj@n显示BRAID的解空间随采样预算高效扩展,而基线则趋于平缓,案例研究表明,优化的图像分支不仅产生忠实的中间结果,还将强大的指令跟随能力迁移到文本到图像生成中。 ### 2 相关工作 **交错多模态推理。** 思维链提示(Wei等人, 2022 (https://arxiv.org/html/2607.03748#bib.bib9); Kojima等人, 2022 (https://arxiv.org/html/2607.03748#bib.bib10))将复杂推理分解为中间步骤,但纯文本限制了在视觉基础任务中的表现力,在这些任务中,空间/几何关系更自然地由图像捕捉(Hu等人, 2024 (https://arxiv.org/html/2607.03748#bib.bib11); Menon等人, 2024 (https://arxiv.org/html/2607.03748#bib.bib12))。最近统一架构通过将生成和理解整合到单一骨干网络中来弥补这一差距,实现带有中间视觉状态的交错文本-图像推理轨迹(Meng等人, 2023 (https://arxiv.org/html/2607.03748#bib.bib16); Cheng等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib53))。这些架构遵循两种设计:全自回归(AR)模型将两种模态视为统一下一个token目标下的离散token(Chameleon Team, 2024 (https://arxiv.org/html/2607.03748#bib.bib1); Xie等人, 2024 (https://arxiv.org/html/2607.03748#bib.bib7)),以及混合AR-扩散模型,采用选择性激活模态特定参数(文本用AR,图像用扩散)(Deng等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib4); Li等人, 2025a (https://arxiv.org/html/2607.03748#bib.bib14))。两条路线都表明,通过专门的目标和精选的交错数据,跨模态推理可以被内化到单个模型中(Gu等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib17); Li等人, 2025b (https://arxiv.org/html/2607.03748#bib.bib15); Tong等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib13))。BRAID基于混合骨干网络,因其在将每种模态委托给最适合的生成机制方面的优越性(Wu等人, 2024 (https://arxiv.org/html/2607.03748#bib.bib5); Zhou等人, 2024 (https://arxiv.org/html/2607.03748#bib.bib8); Dong等人, 2024 (https://arxiv.org/html/2607.03748#bib.bib55))。 **强化学习微调。** 可验证奖励RL已成为超越监督数据上限的推理增强原则性范式,首先在LLMs中(Guo等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib21); Shao等人, 2024b (https://arxiv.org/html/2607.03748#bib.bib22)),随后在仍局限于文本动作空间的VLMs中(Meng等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib23); Huang等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib25))。并行的工作线通过将扩散去噪建模为MDP来将RL适配到图像生成(Black等人, 2023 (https://arxiv.org/html/2607.03748#bib.bib31); Fan等人, 2023 (https://arxiv.org/html/2607.03748#bib.bib32); Liu等人, 2026b (https://arxiv.org/html/2607.03748#bib.bib54)),后续工作将其泛化到FlowGRPO(Liu等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib33))中的流匹配模型,通过DiffusionNFT(Zheng等人, 2025a (https://arxiv.org/html/2607.03748#bib.bib34))中的直接前向过程优化加速学习,并在DanceGRPO(Xue等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib35))中将这些变体统一在单一策略梯度框架下。然而,这两条工作线都在单一模态生成内运行,且都不适用于统一模型生成交错文本-图像输出的场景。BRAID旨在通过在联合多模态推理轨迹上制定RL来弥合这一鸿沟。 **用于交错多模态推理的强化学习。** 越来越多的研究将RL应用于微调统一模型。对于AR骨干网络,Emu3.5(Cui等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib3))使用可验证奖励RL扩展了后训练,其他研究采用相同范式并设计了混合奖励(Geng等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib28); Nie等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib56))。对于混合架构,前期工作通常将视觉分支排除在RL循环之外:COOPER(Zhang等人, 2025 (https://arxiv.org/html/2607.03748#bib.bib27))在独立的监督阶段训练图像生成,DeepEyes(Zheng等人, 2025b (https://arxiv.org/html/2607.03748#bib.bib26))将策略梯度反向传播到视觉工具调用而非图像生成过程本身。此外,同期工作UniGRPO(Liu等人, 2026a (https://arxiv.org/html/2607.03748#bib.bib36))确实在单一RL目标下联合优化了两种模态,但仅限于单轮文本到图像生成。总之,现有流程中没有将RL应用于多轮交错推理场景的,其中每轮文本/图像生成都条件于后续生成。BRAID通过将完整交错轨迹建模为统一决策过程,并在单一策略内端到端地推导模态原生梯度,填补了这一空白。 ### 3 预备知识 ##### 组相对策略优化。 GRPO(Shao等人, 2024b (https://arxiv.org/html/2607.03748#bib.bib22))对于每个提示 `q`,从行为策略 `π_θ_old` 中采样一组 `G` 个展开轨迹 `{τ_i}_{i=1}^G`,用标量奖励 `r(τ_i)` 对每个 `τ_i` 评分,并分配组归一化优势为 `Â(τ_i) = (r(τ_i) - μ(r(τ))) / (σ(r(τ)) + κ)`,其中 `μ(·)` 和 `σ(·)` 表示均值和标准差,`κ` 是一个小的常数用于数值稳定性。策略 `π_θ` 随后通过一个带裁剪的替代目标进行更新,该目标带有对冻结参考模型 `π_ref` 的KL惩罚,如下所示: ``` J_GRPO(π_θ) = E[ (1/G) Σ_{i=1}^G (1/|τ_i|) Σ_{t=1}^{|τ_i|} min(ρ_{i,t} Â_i, clip(ρ_{i,t}, 1-ε, 1+ε) Â_i) ] - η D_KL[π_θ ∥ π_ref], (1) ``` 其中 `|τ_i|` 是展开轨迹 `τ_i` 的长度,`ρ_{i,t} = π_θ(τ_{i,t} | q, τ_{i,<t}) / π_θ_old(τ_{i,t} | q, τ_{i,<t})` 是重要性采样比率。 ##### 模态原生策略梯度。 文本策略梯度。 对于文本分支,我们将自回归语言模型视为一个序列决策过程。给定状态-动作对 `(s_t, a_t)`,其中 `s_t` 表示上下文(包括之前的文本和图像),`a_t` 是下一个token,每个动作的RL奖励由共享的优势 `Â` 提供。相应的梯度可以写成: ``` ∇_θ J_text = E[ Σ_{t=1}^{|τ_text|}  ∇_θ log π_θ(a_t | s_t) ], (2) ``` 其中 `π_θ(a_t | s_t)` 是在 `s_t` 条件下生成token `a_t` 的似然。 图像策略梯度。 对于图像分支,我们关注基于流匹配的生成模型,其中图像 `x` 通过常微分方程(ODE)从初始噪声 `z_0`,`z_0 ∼ p_0`(通常为标准高斯分布)生成。 扩散模型策略梯度。 给定一个扩散或基于流的生成模型,我们可以将其视为一个多步MDP,其中每一步 `t` 的动作是去噪方向 `u_t`。使用兼容的优势函数 `Â`,策略梯度可以推导为(Black等人, 2023; Fan等人, 2023): ``` ∇_θ J_img = E[ Σ_{t=0}^{T-1}  ∇_θ log π_θ(u_t | z_t) ], (3) ``` 其中 `π_θ(u_t | z_t)` 是在当前隐状态 `z_t` 下的去噪方向。为了与基于流的架构兼容并提高稳定性,BRAID采用了无似然流匹配目标,如DiffusionNFT(Zheng等人, 2025a)中所述。 ``` L_NFT(θ) = E[ Σ_{t=0}^{T-1} || v_θ(z_t, t) -  · u_t ||^2 ], (4) ``` 其中 `v_θ(z_t, t)` 是网络预测的速度,`u_t` 是目标速度,`Â` 作为缩放因子。该损失函数将优势作为缩放因子,并避免了显式的对数似然计算。 ### 4 BRAID BRAID的目标是将交错多模态推理(文本-图像-文本思维链)统一到一个单一的强化学习框架中,实现端到端优化。该框架建立在三个关键设计之上:(1) 通过共享的组相对优势统一文本和图像模态,(2) 模态原生策略梯度,以及(3) 视觉思考过程奖励(VLM评判器)提供密集的轮次级反馈。 #### 4.1 统一决策过程 正式地,我们将MDP定义为 `M = (S, A, P, R, γ, μ_0)`,其中 `S` 是联合的文本-图像状态空间,`A = A_text ∪ A_img` 是动作空间,`P` 是转移概率,`R` 是奖励函数,`γ` 是折扣因子,`μ_0` 是初始状态分布。给定初始提示 `q`,一个展开轨迹 `τ` 由交替的文本和图像动作组成: ``` τ = (s_0, a_0^text, s_1, a_1^img, s_2, a_2^text, ..., s_{T-1}, a_{T-1}^img, a_T^text_ans, s_T). ``` 其中每个状态 `s_t` 包含所有之前的文本和图像。 在统一框架下,BRAID不独立处理每个模态,而是为整个轨迹 `τ` 推导一个共享优势 `Â(τ)`,这确保了两种模态在同一个强化学习目标下联合优化。关键的创新在于,该共享优势被分别引导至文本和图像的原生策略梯度,保持了每个模态的特性。 #### 4.2 共享优势与模态原生梯度 给定以提示 `q` 为条件的轨迹 `τ` 和相应的奖励 `r(τ)`,我们首先计算组相对优势: ``` Â(τ) = (r(τ) - μ({r(τ_i)}_{i=1}^G)) / (σ({r(τ_i)}_{i=1}^G) + κ), ``` 其中 `G` 是组大小。该优势 `Â(τ)` 随后被用于更新两个分支:
• **文本分支**:对于自回归文本生成,我们将每个token `a_t` 视为一个动作。优势用于缩放(或作为基线)每个token的对数似然,如方程(2)所示。
• **图像分支**:对于基于流的图像生成,我们使用无似然目标 `L_NFT(θ)`,如方程(4)所示。在这里,优势作为缩放因子直接应用于去噪方向。这与现有方法(如DiffusionNFT)不同,在现有方法中,优势仅来自图像质量奖励,而在BRAID中,该优势来自整个推理轨迹的最终任务奖励。
两个分支的梯度随后被组合成统一的更新。这种设计避免了显式的对数似然计算,并自然地适应于文本和图像生成中使用的不同训练范式。 #### 4.3 视觉思考过程奖励 尽管共享的优势提供了全局任务级反馈,但它在中间图像生成步骤的信用分配上效果不佳,尤其是在长多轮轨迹中。为了提供更密集的反馈,BRAID引入了一个额外的过程奖励 `r_t^(vis)`,用于评估当前步骤生成的图像 `I_t` 的视觉推理效用。具体来说,我们使用一个VLM评判器 `J_vis`,它接收当前图像 `I_t` 和文本上下文 `C_t`(包括提示和先前推理步骤),并输出一个三值评分: ``` r_t^(vis) = J_vis(C_t, I_t) ∈ {0, 0.5, 1}, ``` 其中0、0.5和1分别对应图像对推理“有害”、“中性”和“有益”。 然后,最终的训练奖励是任务奖励和过程奖励的加权和: ``` R_total(τ) = λ_task · r(τ) + λ_process · Σ_{t∈V(τ)} r_t^(vis), ``` 其中 `V(τ)` 是τ中图像生成步骤的索引集合。`λ_task` 和 `λ_process` 是控制任务奖励和过程奖励相对贡献的超参数。在实验中,我们设 `λ_task = 1.0` 和 `λ_process = 0.5`。 完整的算法总结在算法1中。完整的算法如下所示。
**算法1** BRAID:统一决策过程
**输入:** 初始策略 `π_θ`,参考模型 `π_ref`,VLM评判器 `J_vis`,提示集 `Q`,采样组大小 `G`,裁剪阈值 `ε`,KL系数 `η`,奖励权重 `λ_task`,`λ_process`。
**输出:** 更新后的策略 `π_θ`。
1: `for each iteration do`
2: `for each batch B ⊆ Q do`
3: `for each prompt q ∈ B do`
4: `for i = 1 to G do`
5: 采样 `τ_i ∼ π_θ_old(· | q)`。 {包含交替的文本和图像动作}
6: 计算任务奖励 `r(τ_i)`。
7: `for each图像生成步骤 t ∈ V(τ_i) do`
8: 计算 `r_t^(vis) ← J_vis(C_t, I_t)`。
9: `end for`
10: 计算 `R_total(τ_i) ← λ_task · r(τ_i) + λ_process · Σ_{t∈V(τ_i)} r_t^(vis)`。
11: `end for`
12: `for i = 1 to G do`
13: `Â_i ← (R_total(τ_i) - μ({R_total(τ_j)}_{j=1}^G)) / (σ({R_total(τ_j)}_{j=1}^G) + κ)`。
14: `end for`
15: `for i = 1 to G do`
16: `for每个文本token动作 a ∈ τ_i^text do`
17: `g_text ← Σ a Â_i ∇_θ log π_θ(a | ·)`。 {文本梯度}
18: `end for`
19: `for每个图像去噪步 d ∈ τ_i^img do`
20: `g_img ← Σ d Â_i · ∇_θ L_NFT, d`。 {图像梯度,使用方程(4)}
21: `end for`
22: `end for`
23: 使用联合梯度 `g_text + g_img` 更新 `π_θ`,并带KL惩罚 `η D_KL(π_θ ∥ π_ref)`,裁剪比率为 `ε`。
24: `end for`
25: `end for`
注意:为了简洁,我们省略了方程(1)中的裁剪机制;实践中,我们使用带裁剪的GRPO目标。
#### 4.4 实现细节 **与BAGEL的训练流水线整合。** BRAID模块被集成到BAGEL的训练流水线中,并以端到端方式进行训练。在联合微调期间,我们同时优化文本和图像分支。对于文本分支,我们在训练期间解冻所有层,并应用标准的语言建模损失,该损失被优势加权。对于图像分支,我们冻结文本编码器,仅解冻UNet参数,并使用DiffusionNFT(方程(4))损失进行微调。我们遵循BAGEL的训练范式,但使用了我们为推理量身定制的修改后动作空间。在推理期间,图像生成过程需要[IMG] 到 img 的特殊标记。这些标记作为推理过程中的宏动作边界,但不参与损失计算。
效率考虑。 由于评估多轮轨迹和VLM评判器的成本,BRAID的实现是计算密集型的。为了减轻这一点,我们采用了以下策略:(1)图像生成步骤的早期解码,以在推理过程中生成中间图像;(2)缓存策略以减少VLM评判器的冗余计算;(3)异步采样,允许RL组同时探索多个轨迹。这些策略有助于维持可管理的训练成本,同时保留统一MDP公式的优势。
### 5 实验
#### 5.1 设置
模型与基线。 我们从BAGEL(Deng等人, 2025)的7B变体初始化所有模型。我们将BRAID与以下基线进行比较:(1)**BAGEL**原始模型,不进行进一步微调。(2)**SFT**,在推理链数据上进行监督微调。(3)**RL-w/o-vis**,一种仅使用文本轨迹进行强化学习(GRPO)的变体,其中推理被采样,但图像仅从基础模型中采样而不进行优化。(4)**RL-w/o-NFT**,一种对文本分支执行强化学习并对图像分支进行独立NFT的变体。(5)**GPT-4o**,作为强力的参考(零样本)。
基准。 我们在七个多模态推理基准上进行评估,涵盖空间推理(MMSI、SAT、V\*Bench)和视觉感知(BLINK、VStar、CV-Bench 2D、CV-Bench 3D)。所有基准都测试交错多模态推理能力。
实现细节。 我们将GRPO组大小设置为G=8,并使用学习率为1e-6的AdamW优化器。训练在32×V100 GPU上进行,批量大小为128,共进行5000步。我们使用256个扩散步进行图像生成。对于VLM评判器,我们使用内部VLM对每张中间图像进行评分。
#### 5.2 主要结果
表1报告了主要结果。BRAID在所有基准上一致性地优于基线。关键观察包括:
• BRAID在7个基准上平均比BAGEL高出+5.73,并优于GPT-4o——尽管其模型大小仅为7B。
• 最大的改进出现在视觉感知任务上:SAT(+14.00)和V\*Bench(+10.76)。
• 消融研究显示,移除视觉分支(RL-w/o-vis)导致性能下降,尤其是在感知任务上,而使用独立NFT(RL-w/o-NFT)则部分恢复了性能,但仍不及完整的BRAID。
表1:在七个多模态推理基准上的主要结果。*:通过Maj@8策略(k=8)进行评估。最佳结果以**粗体**显示,第二好结果以下划线标注。
| 模型 | MMSI | SAT | V\*Bench | BLINK | VStar | CV-B 2D | CV-B 3D | 平均值 |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| BAGEL | 63.25 | 49.60 | 65.34 | 54.67 | 64.80 | 54.89 | 80.67 | 60.46 |
| SFT | 66.44 | 52.00 | 68.29 | 56.67 | 69.23 | 57.11 | 82.17 | 64.57 |
| RL-w/o-vis | 67.51 | 56.80 | 71.95 | 58.33 | 72.50 | 58.89 | 82.33 | 66.02 |
| RL-w/o-NFT | 67.83 | 56.00 | 72.80 | 58.67 | 72.19 | 59.11 | 81.50 | 66.00 |
| GPT-4o* | 78.50 | 56.00 | 80.69 | 72.33 | 78.08 | 72.22 | 84.83 | 73.69 |
| **BRAID** | **69.49** | **63.60** | **76.10** | **60.33** | **73.17** | **60.22** | **82.83** | **69.39** |
表2:Maj@n结果,显示BRAID的解空间随采样高效扩展,而基线则趋于平缓。
| 模型 | SAT (k=1) | SAT (k=4) | SAT (k=8) | V\*Bench (k=1) | V\*Bench (k=4) | V\*Bench (k=8) |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| BAGEL | 49.60 | 50.00 | 50.80 | 65.34 | 65.85 | 65.85 |
| BRAID | 58.40 | 62.00 | 63.60 | 70.73 | 73.98 | 76.10 |
#### 5.3 分析
交叉模态协作。 表5展示了BRAID中文本和图像分支之间的协同作用。优化的视觉分支不仅提高了图像质量,还通过更好的视觉描述增强了文本推理。
效率与扩展。 表3报告了训练成本。BRAID大约需要3倍的训练时间,比纯文本RL baseline,主要由于图像生成和VLM评估的成本。然而,推理成本保持不变。
表3:训练时间、FLOPs和内存使用情况。
| 模型 | 训练时间(小时) | 每步FLOPs(TFLOPS/GPU) | 峰值内存(GB/GPU) |
| :--- | :--- | :--- | :--- |
| BAGEL | – | – | 16.0 |
| SFT | 12 | 125 | 17.2 |
| RL-w/o-vis | 18 | 180 | 18.5 |
| BRAID | 54 | 380 | 24.8 |
视觉思考过程奖励的有效性。 表4显示,移除视觉思考过程奖励(w/o \(r^{vis}\))在感知任务上导致性能下降,而在空间推理任务上则较少。这表明,细粒度的视觉任务尤其受益于密集的中间反馈。
表4:消融研究:视觉思考奖励和NFT组件的影响。
| 模型 | MMSI | SAT | V\*Bench | BLINK | VStar | CV-B 2D | CV-B 3D |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| BAGEL | 63.25 | 49.60 | 65.34 | 54.67 | 64.80 | 54.89 | 80.67 |
| SFT | 66.44 | 52.00 | 68.29 | 56.67 | 69.23 | 57.11 | 82.17 |
| w/o \(r^{vis}\) | 68.32 | 57.60 | 72.80 | 58.33 | 71.68 | 59.33 | 82.16 |
| w/o \(L_{NFT}\) | 67.83 | 56.00 | 72.80 | 58.67 | 72.19 | 59.11 | 81.50 |
| BRAID | **69.49** | **63.60** | **76.10** | **60.33** | **73.17** | **60.22** | **82.83** |
进一步的消融研究见表4,涵盖所有七个基准的完整数值。我们注意到,在MMSI上,所有RL变体都优于SFT,表明即使没有 \(r^{vis}\) 或 \(L_{NFT}\),仅文本分支的RL也在多图像空间任务上带来了收益。在CV-Bench 3D上,BRAID和带 \(r^{vis}\) 的变体都恢复了SFT的回归(82.17 vs 81.67),而不带 \(L_{NFT}\) 的变体则没有(81.50),这表明优化图像分支对于恢复3D空间理解是必要的。感知基准(BLINK、VStar、CV-Bench 2D)显示完整模型与消融版本之间的差距最大,这证实了细粒度的视觉任务最受益于 `rvis` 和 `LNFT` 的组合。
跨模态协同效果。 表5展示了BRAID中文本和图像分支之间的协同作用。优化的视觉分支不仅提高了图像质量,还通过更好的视觉描述增强了文本推理。
表5:文本与图像分支之间的跨模态协同效果示例。BRAID优化后的图像生成提供了更准确的视觉细节,进而提升了文本推理的准确性。
| 提示 | BAGEL(出错的文本推理 + 模糊的图像) | BRAID(正确的文本推理 + 清晰的图像) |
| :--- | :--- | :--- |
| “图中圆柱体和长方体之间的相对位置关系是什么?” | 文本:圆柱体位于长方体的左侧。(错误) | 文本:圆柱体位于长方体的右侧。(正确) |
| | 图像:模糊、低质量的渲染 | 图像:清晰、准确的几何体渲染 |
**高效的解空间扩展。** Maj@n分析(表2,图2)显示BRAID的解空间随采样预算高效地扩展,而基线则迅速饱和。这表明BRAID探索了更多样化的有效推理路径。
**定性结果。** 图3和图4展示了BRAID优化生成的高质量中间图像。这些图像在遵循指令和视觉准确性方面得到显著提升。
### 6 结论
本文提出了BRAID,一个用于统一多模态模型的简单强化学习框架。通过将交错文本-图像-文本推理建模为统一的MDP,BRAID能够在单一目标下端到端地联合优化文本和视觉生成。我们的实验表明,BRAID在多个推理基准上显著提升了性能,验证了统一决策过程和视觉思考奖励的有效性。我们相信BRAID是迈向统一多模态强化学习路线图的重要一步。
**局限性。** 尽管BRAID展示了有前景的结果,但它面临着几个关键的局限性:首先,扩展性仍然是一个重大挑战——我们的方法需要大约3倍的文本基线训练时间,主要由于图像生成的成本以及VLM评判器的额外评估。其次,VLM评判器本身引入了额外的计算开销,并且其准确性依赖于训练数据。第三,当前的公式集中于离散动作空间,将图像生成步骤视为单个宏动作,这可能无法完全捕捉细粒度的视觉-语言协同作用。解决这些局限性——例如,通过更高效的去噪调度或更轻量化的评判器——是未来工作的方向。
### 参考文献
[参考文献列表超出范围,此处省略]
### 附录A
附录包含:
A.1 提示模板
A.2 基准细节
A.3 VLM评判器细节
A.4 超参数
A.5 完整的消融研究
A.6 额外结果
A.7 定性示例
A.8 扩展性结果
A.9 计算开销分析
A.10 训练稳定性
#### A.1 提示模板
我们为交错推理任务使用以下提示模板:相似文章
AVTR:具备视觉想象能力的自适应多模态推理
该论文提出了自适应视觉-文本推理(AVTR),在文本推理之外引入生成式视觉想象与反思,并通过学习得到的路由策略为每个输入选择推理模态。在 16 项基准测试上,AVTR 相比 Qwen3.5 基线平均得分提升 4.5 分,同时将推理延迟降低 33%。
PRISM:用于顺序决策的感知与推理交织方法
本文介绍了 PRISM,这是一个通过动态问答流程整合视觉-语言模型和大语言模型的框架,旨在提升具身 AI 任务中的顺序决策能力。
检索、整合与综合:空间-语义接地潜层视觉推理
本文介绍了 RIS,这是一个用于多模态大语言模型的空间-语义接地潜层视觉推理框架,旨在克服信息瓶颈。该框架提出将潜在令牌(tokens)锚定于空间和语义证据之上,在 V* 和 HRBench 等基准测试中展现出性能提升。
RxBrain:具有联合语言-视觉推理与想象力的具身认知基础模型
RxBrain是一个具身认知基础模型,它通过语言和视觉想象联合推理来表征具身规划,采用统一的多模态混合Transformer架构。无需大规模动作数据即可在真实机器人上取得良好表现。
锚定关键要素:面向视觉基础多模态推理的双层学习框架
本文提出PIVOT,一个双层学习框架,通过自校准经验回放和视觉引导优势分配优化强化学习,以增强大型视觉语言模型中的视觉基础推理。