论文页面 - RealtimeWAM：一步异步世界动作模型

来源：https://huggingface.co/papers/2610.06617

摘要

世界动作模型（World Action Models，WAMs）引入视频生成骨干网络的视觉表示来指导动作预测。近期高效的 WAM 采用 Mixture-of-Transformers（MoT）架构，仅计算一次视频表示以供动作专家复用。然而，专家内部迭代（即多步动作去噪）和专家间等待（即视频专家与动作专家的顺序执行）仍然限制着推理效率。为此，我们提出 RealtimeWAM，一种极其高效的 WAM 变体，具备一步动作生成和异步推理能力，从而解决这两个瓶颈问题。

为减少专家内部迭代，我们提出 Teacher-Anchored Consistency Distillation（TACD），以解决局部与全局之间的误差差距问题：仅有局部一致性误差低并不能保证最终动作的准确性。TACD 在局部一致性的基础上，引入冻结教师模型多步展开终点的显式监督，从而实现精确的一步动作生成。此外，我们提出 Cross-Expert Wavefront Pipelining（CEWP）以消除不必要的专家级等待。该方法通过分块共享视频 KV cache 来使两个专家相互重叠执行，仅在对应动作注意力实际消费该 cache 时才进行同步。在多样化基准（如 LIBERO、LIBERO-Plus 和 RoboTwin）以及不同模型变体（如 Fast-WAM 和 Faster-WAM）上的大量实验表明，RealtimeWAM 具有显著优势。值得注意的是，RealtimeWAM 在这些基准上保持近乎无损的性能（即下降 < 1%），同时带来显著的端到端加速（例如在 H100 上约 25 倍）。我们的代码和检查点可通过此 {link}（https://github.com/ModelTC/LightX2V/tree/main/examples/realtimewam）获取。

查看 arXiv 页面（https://arxiv.org/abs/2610.06617） 查看 PDF（https://arxiv.org/pdf/2610.06617） GitHub（https://github.com/ModelTC/LightX2V） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.06617）

在你的代理中获取此论文：

hf papers read 2610.06617

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.06617 即可从本页面链接它。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.06617 即可从本页面链接它。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.06617 即可从本页面链接它。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection）即可从本页面链接它。