GameWAM：视频游戏的世界动作模型

# GameWAM：面向电子游戏的世界-动作模型  
来源：https://arxiv.org/html/2608.26200  
张战秋 单位：LIGHTSPEED  
郭逸文 单位：独立研究者  
李伟嘉 单位：清华大学深圳国际研究生院† 通讯作者  
###### 摘要  
现代电子游戏融合了第一人称感知、快速视觉变化、持续世界状态与异构原生控制。现有游戏智能体将视觉与任务上下文直接映射为动作，但缺乏显式的世界动力学建模；而交互式游戏世界模型则基于给定动作预测视觉未来，却不具备任务策略功能。世界-动作模型（WAMs）旨在统一这两类目标，但在电子游戏的动态交互与开放式特性下，其潜力尚未充分探索。我们提出GameWAM——据我们所知首个面向原生闭环游戏操作与图形用户界面（GUI）控制的WAM。GameWAM通过并行视觉与动作生成流程，结合区块因果条件与流匹配机制，联合生成未来视觉观测与可执行的键鼠操作轨迹。为支持世界-动作联合学习，我们构建了同步游戏操作与GUI轨迹数据。针对异构原生控制问题，GameWAM在每个动作步骤预测当前处于游戏操作/GUI模式，并采用模式专属的预测分布与连续动作归一化方法生成动作。在长时域交互中，区块循环控制机制在预测范围超出已承诺时域时，仅执行短动作前缀，并基于新观测重新规划；同时通过细粒度的循环内上下文与分层跨循环历史信息，维持时间连续性。实验表明，相较于对比智能体，GameWAM在更少的原生动作执行次数下实现了具有竞争力的任务成功率。我们进一步发现"低频动作源印记"（LASI）现象：在固定条件下，采样动作源的低频分量会系统性地引导生成相机的粗粒度运动，揭示了生成式控制中的源敏感性失效模式。项目页面可在以下地址访问：https://yunncheng.github.io/GameWAM/。  

## 1 引言  
现代电子游戏要求基于像素的原生控制，以应对快速变化的第一人称观测、键鼠输入及先前动作的后果。现有解决方案涵盖行为预训练、视觉-语言-动作模型、分层智能体架构与大规模交互学习（Baker et al., 2022；Lifshitz et al., 2023；Wang et al., 2024a；Wang et al., 2024b；Wang et al., 2026b；Wang et al., 2025）。尽管系统设计各异，其控制本质均是将视觉与任务上下文映射为原生或抽象动作，常通过离散化、语义化或时间压缩的表征实现。此类方法虽在行为学习上有效，但未显式建模视觉世界在执行动作下的演化规律，其动作抽象可能削弱并发键控与连续相机运动所需的细粒度时间与度量结构。交互式游戏世界模型提供了互补能力：学习动作条件下的视觉动力学，但依赖玩家或外部控制器提供的动作，而非自主选择任务导向的行为（Bruce et al., 2024；Alonso et al., 2024；Che et al., 2025；Guo et al., 2025；Zhang et al., 2025）。因此，控制模型在选择行为时未显式建模其视觉后果，而交互式世界模型预测这些后果却不承担任务策略功能。这推动了任务导向动作与其视觉后果统一模型的发展。  
图1：GameWAM概览。GameWAM联合建模未来视觉观测与原生动作，实现闭环游戏操作与GUI控制。世界-动作模型（WAMs）通过联合生成未来视觉观测与可执行动作轨迹，利用视觉预测为控制提供动力学感知监督。近期WAMs主要在桌面或受限室内机器人操作场景取得成果（Ye et al., 2026；Yuan et al., 2026），但其在快速变化的第一人称观测、持续世界状态与重复闭环交互下的性能仍有待探究。现代电子游戏为此提供了可扩展且可控的测试平台：自我运动、动态实体、异构交互模式与持久状态带来多样且突变的视觉变化，而环境具备精确可控、可靠重置与干预可重复的特性（Fan et al., 2022；Raad et al., 2024）。尽管游戏未完全复现物理具身的所有方面，但它们使控制模型暴露于现有物理平台难以达到的快速演化交互规模（Khazatsky et al., 2024；Pumacay et al., 2024）。据此，我们提出GameWAM——据我们所知首个面向原生闭环游戏操作与GUI控制的WAM。GameWAM基于视觉、指令及其他条件信号，联合生成未来视觉观测与可执行的键鼠轨迹。  
在游戏场景实现WAM面临动作与时域维度的双重挑战。动作挑战在原生游戏控制中尤为突出：游戏操作结合并发离散按键、连续相机运动与稀疏鼠标事件，而GUI交互则复用同一物理通道处理光标移动、点击、滚动与界面快捷操作。因此，相同动作维度在不同模式下具有不同语义、尺度及条件分布，将其视为统一分布会混淆不兼容的相机与光标统计特性。GameWAM在共享的Action-DiT流中生成连续与并发离散维度，同时通过学习的动作路由器在每个动作时间步选择游戏操作专属或GUI专属的动作流预测。两种模式采用针对其控制分布特性的独立归一化，但共享底层物理控制。  
时域挑战因原生动作相对于视觉采样的时间稀疏性在快速变化交互环境中被放大。近期具身WAMs通过时间子采样控制视频token成本，但粗糙的时间分辨率可能遗漏游戏中的快速自我运动、瞬态目标与短暂交互事件。更密集的采样可捕捉这些变化，但在固定token与缓存预算下，相同资源覆盖的交互时长缩短，导致未来预测视野与历史上下文保留均减少。该权衡尤其影响如DreamZero（Ye et al., 2026）等分块自回归WAMs，其中预测、执行与瞬态KV积累沿有限区块链推进。在预测侧，更密集采样缩短了固定链覆盖的实时视野。扩展链以恢复长视野预测也会延长动作承诺范围，推迟基于更新观测的反馈。GameWAM通过解耦预测与承诺来应对此问题：每个规划单元预测P个动作，但仅承诺E步执行区块，其中E∈[1,2]，U^τa=(1−r^τ)U^τgame+r^τU^τgui。\hat{r}\_{\tau}=\mathbf{1}\!\left[\operatorname{sigmoid}(\rho_{\tau})>\tfrac{1}{2}\right],\qquad\widehat{U}\_{\tau}^{a}=(1\-\hat{r}\_{\tau})\widehat{U}\_{\tau}^{\mathrm{game}}\+\hat{r}\_{\tau}\widehat{U}\_{\tau}^{\mathrm{gui}}\(6\)。训练时，rτ∗r\_{\tau}^{\*}选择监督预测分支并提供路由目标；在线评估时使用预测路由。连续动作坐标采用游戏操作或GUI专属统计量归一化，离散坐标保留共享归一化。有效性掩码排除特定环境下不可用的控制输入。  

### 4.2 区块循环控制与分层历史  
如图3（https://arxiv.org/html/2608.26200/S4.F3）所示，GameWAM将预测与承诺解耦。每个计划包含P个动作，但仅前E个动作构成承诺执行区块：A^c,kplan∈RP×da,EEP>E，相邻预测目标重叠P−EP−E个动作。增加P可扩展每个执行对齐锚点的预测监督，而不改变底层区块或循环边界。这种执行对齐的重叠监督提高了从每条交互轨迹提取的预测覆盖率。由于执行对齐锚点由E固定，增加P可扩展每个锚点关联的预测范围，而无需额外执行对齐样本。重叠区域的实现转场因此可跨多个预测偏移重用，并在保持相同决策节奏下从不同因果有效前缀进行监督。例如，一个转场对某锚点而言位于未来较远位置，可能成为下一个锚点的近期预测目标。因此，GameWAM结合频繁的E步间距决策点与更长的P步预测监督，而非要求训练序列采用更长执行间隔。由于训练期间可获取完整轨迹，这些重叠目标无需自回归展开中间预测块。每个预测锚点使用其自身的真实因果前缀进行监督，避免仅为构建后续条件上下文而生成前块。此区分并未使更大预测范围计算免费：增加P仍引入额外未来目标及相关预测损失。该组织方式的优势在于，长时域监督与频繁执行对齐锚点可在不延伸自回归承诺链的前提下共存。  
在仅动作在线评估中，省略对视觉变量的迭代去噪过程。实现的视觉前缀仍可用作动作生成上下文，仅移除无需的未来视频生成过程。所得计算保持相同闭环执行语义，同时移除非即时控制所需的未来视频生成。  

### A.2 交互循环内与跨循环的时域上下文  
前述训练与展开调度暴露了两个时间层级的上下文。跨循环状态HcH\_{c}已在正文定义，是跨越交互循环边界的历史表征。在活跃循环内，我们额外用Cc,jC\_{c,j}表示决策j前可用的实现视觉上下文。它包含通过执行动作实际到达的当前循环观测。如正文定义，完整干净视觉前缀结合持久跨循环历史与活跃循环内积累的实现上下文：Pc,j=Hc∪Cc,j。\mathcal{P}\_{c,j}=H\_{c}\cup C\_{c,j}\.\(17\)。此分解为信息性而非结构性：HcH\_{c}指定从早期循环可访问的内容，而Cc,jC\_{c,j}保留当前循环内积累的细粒度上下文。预测但未执行的未来变量不属于任一项。在教师强制下，Cc,jC\_{c,j}直接从采样轨迹的相应真实前缀获取。在线展开时，它仅能在环境返回新实现观测后增长：Cc,j+1inf=Cc,jinf∪{oc,j+1env}。C^{\mathrm{inf}}\_{c,j+1}=C^{\mathrm{inf}}\_{c,j}\cup\\\{o^{\mathrm{env}}\_{c,j+1\}\\\}\.\(18\)。因此，预测的未来观测不会仅因其被生成而被视为历史；只有执行后到达的观测才能扩展循环内上下文。在线KV缓存是实例化干净前缀Pc,j\mathcal{P}\_{c,j}的计算表征，而非时域上下文的第三来源。循环开始时，持久跨循环历史HcH\_{c}与初始实现的循环内上下文被共同处理，形成干净层的K/V状态。随着交互持续，仅新实现观测扩展该缓存的当前循环部分。记保留的干净前缀表征为Zc,jKV\mathcal{Z}^{\mathrm{KV}}\_{c,j}：Zc,jKV=Ψθ(Pc,jinf)=Ψθ(Hc∪Cc,jinf)，\mathcal{Z}^{\mathrm{KV}}\_{c,j}=\Psi\_{\theta}\!\left(\mathcal{P}^{\mathrm{inf}}\_{c,j}\right)=\Psi\_{\theta}\!\left(H\_{c}\cup C^{\mathrm{inf}}\_{c,j}\right)\,(19\)，其中Ψθ\Psi\_{\theta}表示干净前缀的层变换。教师强制训练期间，类似干净表征在并行前向计算中临时形成。在线推断时，它们被保留并随新实现观测增量扩展。循环边界处，瞬态K/V状态被丢弃，而完成的交互更新持久历史，用于构建下一循环的Pc+1,0\mathcal{P}\_{c+1,0}。因此，HcH\_{c}是跨循环的持久状态，Cc,jC\_{c,j}是活跃循环内积累的细粒度实现上下文，Zc,jKV\mathcal{Z}^{\mathrm{KV}}\_{c,j}是在线计算中的临时处理表征。训练与推断的区别在于该表征的计算生命周期，而非历史信息的语义来源。  

### A.3 跨循环分层记忆  
正文将持久历史定义为Hc=[Mc;Rc]H\_{c}=[M\_{c};R\_{c}]，其中RcR\_{c}保留近期执行片段，McM\_{c}总结从近期缓冲区移除的较旧片段。此处我们详述构建这两个组件的时间编码与长期更新机制。如公式8（https://arxiv.org/html/2608.26200/S4.E8）所示，表征Sc=Conv3D⁡(VAE⁡(Ocexec))S\_{c}=\operatorname{Conv3D}\left(\operatorname{VAE}(O\_{c}^{\mathrm{exec}})\right)\,(20\)仅由执行实现的观测形成。Conv3D分词器在保留片段内时间顺序的同时降低空间分辨率。  
##### 时间编码片段token。近期历史读取与长期记忆更新均作用于相同压缩片段表征ScS\_{c}。记sc,τ,ks\_{c,\tau,k}为时间位置τ\tau与压缩空间位置k的token。每个token通过嵌入其片段内时间位置与空间token标识进行增强，同时结合相对时间嵌入。