论文页面 - Game2World引擎：解锁真实游戏视频用于世界模型训练

来源：https://huggingface.co/papers/2608.24680

摘要

一套从视频中移除游戏UI的框架，可为视频世界模型提供更干净的训练数据，提升奖励指标并优于基于掩码的移除方法。

视频游戏为视频世界模型（https://huggingface.co/papers?q=video%20world%20models）提供了可扩展的训练数据来源，提供多样化的环境、复杂的交互以及大量真实游戏视频。然而，原始游戏画面将游戏世界与屏幕空间界面混杂在一起，引入了游戏特定的偏差和无关动态，阻碍了世界模型的训练。为解决此问题，我们推出了GameUI-Taxonomy（https://huggingface.co/papers?q=GameUI-Taxonomy）和G2WEngine（https://huggingface.co/papers?q=G2WEngine），一个将游戏UI定位与移除形式化的全栈框架。G2WEngine（https://huggingface.co/papers?q=G2WEngine）能从真实游戏视频中自动提取可重复使用的UI资产，并在干净的画面上合成时间连贯的UI覆盖层。利用该引擎，我们构建了Game2World（https://huggingface.co/papers?q=Game2World），包含96,000对具有精确重建目标的合成配对视频，以及来自303款游戏的1,079个真实片段用于现实评估。其资产库包含经验证的5,132个UI元素，涵盖21个分类类别，收集自1,010个代表性游戏画面帧。基于Game2World（https://huggingface.co/papers?q=Game2World），我们提出了GameCleaner（https://huggingface.co/papers?q=GameCleaner），一个无需掩码的游戏UI移除模型，结合了多模态语义理解（https://huggingface.co/papers?q=multimodal%20semantic%20understanding）与视频编辑（https://huggingface.co/papers?q=video%20editing）能力。与基于掩码的方法不同，GameCleaner（https://huggingface.co/papers?q=GameCleaner）能直接识别并移除各类HUD元素，同时保留底层场景内容和时序动态（https://huggingface.co/papers?q=temporal%20dynamics）。在一项对照实验中，基于无UI游戏视频训练的世界模型，其整体VideoReward（https://huggingface.co/papers?q=VideoReward）比使用带UI覆盖数据训练的模型提升了6.83%。在UI移除评估中，GameCleaner（https://huggingface.co/papers?q=GameCleaner）在合成视频上达到了平均95.36的AAR，比最强的时序掩码基线高出57.3%，并在真实场景中取得了80.05的最佳AAR，同时保持了99.8%的背景保真度。这些结果证明了将互联网游戏视频转化为高质量世界模型训练数据的可扩展潜力。代码、数据集和模型将在https://github.com/Dongping-Chen/Game2World (https://huggingface.co/papers?q=Game2World)发布。

查看arXiv页面 (https://arxiv.org/abs/2608.24680)查看PDF (https://arxiv.org/pdf/2608.24680)GitHub0 (https://github.com/Dongping-Chen/Game2World)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.24680)

通过您的代理获取此论文：

hf papers read 2608\.24680

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型关联此论文

在模型的README.md中引用arxiv.org/abs/2608.24680以从本页面关联。

引用此论文的数据集0

无数据集关联此论文

在数据集的README.md中引用arxiv.org/abs/2608.24680以从本页面关联。

引用此论文的Space0

无Space关联此论文

在Space的README.md中引用arxiv.org/abs/2608.24680以从本页面关联。

包含此论文的集合0

无集合包含此论文

将此论文添加到集合 (https://huggingface.co/new-collection)以从本页面关联。