论文页面 - A2Z GameSpec-Bench：编码智能体能多忠实地根据游戏设计文档生成游戏？

来源：https://huggingface.co/papers/2609.39564

摘要

将完整的应用开发委托给编码智能体，需要忠实保留原本的设计意图，而不是通过朴素提示（prompting）只生成看似合理的输出。游戏开发提供了一个极具挑战性的试验场：长篇游戏设计文档（Game Design Documents，GDDs）所描述的需求，必须在游戏逻辑、视觉渲染和玩家交互等多个层面协同工作。然而，现有的游戏开发基准（benchmark）通常只使用精简的规格说明，对于评估长篇 GDD 中各维度之间相互关联的需求支持有限。我们提出了 A2Z GameSpec-Bench，这是一个包含 100 份长篇 GDD 的基准，用于评估智能体的端到端游戏开发能力。我们通过检查游戏是否满足 GDD 中的需求、以及是否保留了需求之间的关联来衡量其忠实度。每份 GDD 都会被转化为一个“依赖感知契约“（dependency-aware contract），其中包含规则、约束以及前置依赖关系。遵循游戏开发实践，我们将源代码检查与智能体生成的测试策略相结合，用于基于场景的回放（scenario-based replay）和自适应试玩测试（adaptive playtesting）。该契约在所有智能体和迭代修订轮次中保持不变，而与相同需求相关联的判定和证据则支持一致的比较和失败检测。我们的评估结果表明，当前智能体难以在代码实现与实际试玩两个层面同时满足相互依赖的需求。在两轮迭代后，基于需求的反馈（requirement-specific feedback）可使 GDD 忠实度相对自我修订提升 10.9%。A2Z GameSpec-Bench 在实现层面的判定之外，评估了端到端的规格遵循能力，并提供了针对性的反馈，以支持更忠实的游戏开发。代码和数据集见：https://a2z-gamespec-bench.github.io

查看 arXiv 页面 (https://arxiv.org/abs/2609.39564) 查看 PDF (https://arxiv.org/pdf/2609.39564) 项目页面 (https://a2z-gamespec-bench.github.io/) GitHub2 (https://github.com/krafton-ai/a2z-gamespec-bench) 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2609.39564)

引用本文的模型 0

暂无与本文关联的模型

在模型的 README.md 中引用 arxiv.org/abs/2609.39564，即可从本页面链接到该模型。

引用本文的数据集 0

暂无与本文关联的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2609.39564，即可从本页面链接到该数据集。

引用本文的 Spaces 0

暂无与本文关联的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2609.39564，即可从本页面链接到该 Space。

包含本文的合集 0

暂无包含本文的合集

将本文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该合集。