论文页面 - 智能游戏开发作为可验证轨迹数据引擎以扩展世界模型

来源：https://huggingface.co/papers/2608.25518

摘要

游戏引擎为强化学习后训练空间世界模型提供了可执行验证和长期轨迹，这激励了一种人机协同验证范式。

扩展世界模型（https://huggingface.co/papers?q=world%20models）的常见策略是利用更多爬取的视频和更多的计算资源进行训练。我们认为这种策略效率低下：扩展世界模型还需要一个提供基础奖励信号的递归数据引擎。代码代理的成功说明了这一点的重要性。由于代码可执行，编译器和运行时可以为强化学习（https://huggingface.co/papers?q=Reinforcement%20Learning）（RL）后训练大语言模型提供高质量奖励。相比之下，空间生成仍然在很大程度上依赖于诸如CLIP分数（https://huggingface.co/papers?q=CLIP%20scores）之类的模糊代理指标。这些信号模糊且有偏见，难以支持RL后训练（https://huggingface.co/papers?q=RL%20post-training）。与这些相比，游戏开发为空间世界模型（https://huggingface.co/papers?q=world%20models）提供了一个缺失的奖励环境。由游戏引擎（https://huggingface.co/papers?q=game%20engine）编码的场景是一个可执行的世界规范（https://huggingface.co/papers?q=executable%20world%20specification）：引擎可以高效地检查碰撞（https://huggingface.co/papers?q=collision）、物理（https://huggingface.co/papers?q=physics）、可导航性（https://huggingface.co/papers?q=navigability）和有界可玩性（https://huggingface.co/papers?q=bounded%20playability），而开发者通过判断场景是否应被接受来提供全局验证信号。游戏开发也为RL后训练（https://huggingface.co/papers?q=RL%20post-training）提供了真实世界的长期轨迹数据。因此，我们提出了人机协同验证强化学习（https://huggingface.co/papers?q=Reinforcement%20Learning%20with%20Human-Engine%20Verification）（RLHEV (https://huggingface.co/papers?q=RLHEV)），这是一种将密集的引擎信号与开发过程中隐式的人类接受反馈相结合的后训练范式。

查看arXiv页面 (https://arxiv.org/abs/2608.25518) 查看PDF (https://arxiv.org/pdf/2608.25518) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.25518)

在你的智能体中获取本文：

hf papers read 2608\.25518

没有最新CLI？请运行 curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

无模型链接本文

在模型README.md中引用arxiv.org/abs/2608.25518以从本页链接到它。

引用本文的数据集0

无数据集链接本文

在数据集README.md中引用arxiv.org/abs/2608.25518以从本页链接到它。

引用本文的Spaces0

无Space链接本文

在Space README.md中引用arxiv.org/abs/2608.25518以从本页链接到它。

包含本文的收藏集0

无收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 以从本页链接到它。