BridgeWAM：通过潜在桥接查询连接视频专家与动作专家

Hugging Face Daily Papers 论文
world-action-models robotics mixture-of-transformers cross-attention action-prediction video-understanding

摘要

BridgeWAM 通过潜在桥接查询（LBQs）解耦视频专家与动作专家，提升世界行动模型（WAM）的动作预测效率与泛化能力，在 LIBERO 基准上达到 98.25% 成功率，同时将推理 FLOPs 降低 28.72%。

世界行动模型（World Action Models, WAMs）通常通过逐层稠密的混合 Transformer（Mixture-of-Transformers, MoT）注意力机制将视频专家与动作专家耦合在一起，这使得动作预测暴露于无关的视觉特征，同时强制要求专家具有相同的深度。这种耦合阻碍了对视觉特征的选择性使用，并引入了冗余计算。我们提出了专家之桥（Bridge-of-Experts, BoE）框架，并将其具体实现为 BridgeWAM，该框架通过 32 个潜在桥接查询（Latent Bridge Queries, LBQs）将视觉、语言和本体感觉先验聚合到一个共享的、有限的潜在空间中。联合的视频-动作监督使得动作梯度能够引导视频专家学习更适合动作预测的表征，而动作专家则通过交叉注意力学会选择性地检索与任务相关的信息。解耦专家深度并在动作去噪过程中复用 LBQs，最终得到一个 5.06B 参数的模型，其中视频专家为 30 层，动作专家为 2 层，在 LIBERO 上达到 98.25% 的成功率，在 LIBERO-Plus 上达到 72.24% 的汇总成功率，证明了超轻量动作头也能实现有效的任务执行和强大的泛化能力。消融实验支持了联合表征适配和统一 LBQ 条件化设计的有效性。与 Fast-WAM 相比，BridgeWAM 在仿真环境中将单样本推理 FLOPs 降低 28.72%，在真实机器人上将延迟降至 77.1 毫秒（加速 2.47 倍）。定性实验结果进一步表明，模型在各种扰动下都会优先关注目标物体和任务目的地。
查看原文
查看缓存全文

缓存时间: 2026/10/19 07:28

论文页面 - BridgeWAM：通过潜在桥接查询连接视频与动作专家

来源：https://huggingface.co/papers/2610.14746

摘要

BridgeWAM 通过潜在桥接查询将视频专家与动作专家解耦，以提升世界动作模型中动作预测的效率与泛化能力。

世界动作模型（World Action Models）https://huggingface.co/papers?q=World%20Action%20Models（WAMs）通常通过稠密的、逐层的 Mixture-of-Transformers https://huggingface.co/papers?q=Mixture-of-Transformers（MoT）注意力机制将视频专家与动作专家耦合在一起，这使动作预测暴露于无关的视觉特征之中，并强制要求专家深度相互匹配。这种耦合阻碍了对视觉特征的选择性利用，并引入了冗余计算。我们提出了 Bridge-of-Experts https://huggingface.co/papers?q=Bridge-of-Experts（BoE），并以 BridgeWAM 的形式实现，它通过 32 个潜在桥接查询 Latent Bridge Queries https://huggingface.co/papers?q=Latent%20Bridge%20Queries（LBQs）将视觉、语言和本体感觉先验聚合到一个共享的、有限的潜在空间中。联合视频-动作监督 Joint video-action supervision https://huggingface.co/papers?q=Joint%20video-action%20supervision 使动作梯度能够引导视频专家朝向更适合动作预测的表征方向调整，而动作专家则学会通过交叉注意力 cross-attention https://huggingface.co/papers?q=cross-attention 选择性地检索与任务相关的信息。解耦专家深度并在动作去噪 action denoising https://huggingface.co/papers?q=action%20denoising 过程中复用 LBQs，最终得到一个 5.06B 参数的模型，包含 30 层视频专家和 2 层动作专家，在 LIBERO https://huggingface.co/papers?q=LIBERO 上达到 98.25% 的成功率，在 LIBERO https://huggingface.co/papers?q=LIBERO -Plus 上达到 72.24% 的汇总成功率，以超轻量动作头实现了有效的任务执行和强大的泛化能力。消融实验支持了联合表征适配和统一 LBQ 条件化的有效性。与 Fast-WAM 相比，BridgeWAM 在仿真环境中将单样本推理 FLOPs 降低 28.72%，在真实机器人上将延迟缩短至 77.1 毫秒（加速 2.47 倍）。定性实验结果进一步表明，在各种扰动下模型会优先关注目标物体与任务目的地。

查看 arXiv 页面 (https://arxiv.org/abs/2610.14746)查看 PDF (https://arxiv.org/pdf/2610.14746)项目页面 (https://bridgewam.github.io/Bridge-Wam-show/)GitHub22 (https://github.com/jxfang04/BridgeWAM-code)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.14746)

在你的 agent 中获取此论文：

hf papers read 2610\.14746

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文。

在模型 README.md 中引用 arxiv.org/abs/2610.14746，即可从此页面链接到该论文。

引用此论文的数据集 0

没有数据集链接此论文。

在数据集 README.md 中引用 arxiv.org/abs/2610.14746，即可从此页面链接到该论文。

引用此论文的 Spaces 0

没有 Space 链接此论文。

在 Space README.md 中引用 arxiv.org/abs/2610.14746，即可从此页面链接到该论文。

收录此论文的收藏夹 0

没有收藏夹收录此论文。

将此论文添加到收藏夹 (https://huggingface.co/new-collection)，即可从此页面链接到它。

相似文章

LeWAM：基于 JEPA 的端到端世界与动作建模

Hugging Face Daily Papers

LeWAM 提出一种端到端的 JEPA 控制框架，通过联合训练下一隐状态预测与动作流匹配目标，并对隐状态施加各向异性高斯约束，使单一模型同时支持直接策略执行与高效规划，在接触丰富任务和长程任务上将成功率从 28.6% 提升至 89.7% 和从 10.9% 提升至 46.2%，规划速度提升 32.3 倍。

PAIR：弥合视觉-语言-动作模型中感知与动作的鸿沟

Hugging Face Daily Papers

PAIR 引入显式的「Bridge Tokens」中间表示，将视觉-语言理解与可执行的机器人动作连接起来，通过与动作潜变量对齐并提前注入动作专家，在 LIBERO、CALVIN 及真实操作任务上一致提升性能。

# Long-WAM：扩展世界-动作模型的上下文长度

Hugging Face Daily Papers

Long-WAM 提出了一种在实时控制约束下扩展因果世界-动作模型（world-action model）上下文的模型-系统框架，研究发现：更长的视觉历史仅在视频基础模型采用自回归方式预训练时才会带来显著效果——在 RoboCasa GR-1 上，其将成功率从 63.3% 提升至 78.7%；而在 Unitree G1 实机上，实现了 95% 的动态杯子堆叠成功率。