论文页面 - GameWAM：面向电子游戏的世界动作模型

来源：https://huggingface.co/papers/2608.26200

摘要

GameWAM 是一个用于原生电子游戏控制的统一世界-动作模型，它利用区块因果流匹配、模式特定分布和区块循环重规划，联合预测未来视觉内容和可执行的键盘鼠标操作。

现代电子游戏融合了第一人称视角、快速视觉变化、持续的世界状态以及多样化的原生控制方式。现有游戏智能体直接将视觉和任务上下文映射到动作，但缺乏显式的动态世界建模；而交互式游戏世界模型能从给定动作预测视觉未来，却无法作为任务策略使用。世界-动作模型（https://huggingface.co/papers?q=World-Action%20Models）(WAMs)统一了这些目标，但在电子游戏的动态性和开放式交互场景中仍未得到充分探索。我们提出GameWAM——据我们所知首个用于原生闭环游戏玩法和GUI控制的WAM。GameWAM通过平行视觉与动作生成过程（采用区块因果条件化 https://huggingface.co/papers?q=block-causal%20conditioning 和流匹配 https://huggingface.co/papers?q=flow%20matching），联合生成未来视觉观测与可执行的键盘鼠标轨迹。为支持联合世界-动作学习，我们构建了同步的游戏玩法与GUI轨迹。为处理多样化的原生控制，GameWAM在每个动作步预测游戏玩法/GUI模式，并使用模式特定预测分布（https://huggingface.co/papers?q=mode-specific%20prediction%20distributions）与连续动作归一化（https://huggingface.co/papers?q=continuous-action%20normalization）生成动作。针对长程交互，区块循环控制（https://huggingface.co/papers?q=block-cycle%20control）预测超出承诺范围，仅执行短动作前缀，并基于新观测重新规划，同时循环内的细粒度上下文与层级化跨循环历史保持了时间连续性。实验证明，与对比智能体相比，GameWAM在执行更少原生动作的情况下取得了具有竞争力的任务成功率。我们进一步发现低频动作源印记（https://huggingface.co/papers?q=Low-Frequency%20Action%20Source%20Imprinting）(LASI)现象：在固定条件下，采样动作源的低频分量会系统性地引导生成相机的宏观运动，揭示了生成控制（https://huggingface.co/papers?q=generative%20control）中一种源敏感性失效模式。项目页面见 https://yunncheng.github.io/GameWAM/。

查看arXiv页面 (https://arxiv.org/abs/2608.26200)查看PDF (https://arxiv.org/pdf/2608.26200)项目页面 (https://yunncheng.github.io/GameWAM/)GitHub仓库 (https://github.com/yunncheng/GameWAM)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.26200)

在您的智能体中获取本文：

hf papers read 2608.26200

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

无模型链接本文

在模型README.md中引用arxiv.org/abs/2608.26200，即可从本页链接。

引用本文的数据集0

无数据集链接本文

在数据集README.md中引用arxiv.org/abs/2608.26200，即可从本页链接。

引用本文的Spaces0

无Space链接本文

在Space的README.md中引用arxiv.org/abs/2608.26200，即可从本页链接。

包含本文的合集0

无合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection)即可从本页链接。