SWE-Game:编码智能体能否构建我们想要的游戏?

Hugging Face Daily Papers 论文

摘要

我们提出 SWE-Game,一个包含 247 项任务的基准,基于 41 款可执行的 Godot 游戏,涵盖五类游戏开发任务。在六个模型的评测中,Opus5 表现最佳,但最高分仍低于 60/100,凸显了智能体在需求满足和游戏玩法逻辑方面的不足。

我们提出 SWE-Game,一个包含 247 项任务的基准,基于 41 款可执行的 Godot 参考游戏,涵盖 2D 与 3D 中的 13 种玩法类别。五类任务覆盖了游戏开发的完整流程:从简报出发的开发、基于游戏设计文档的实现、骨架补全、83 个注入故障案例的修复,以及从 Godot 到 Unity 的移植。参考材料规定了预期玩法,同时共享的插桩接口允许评测方自有的驱动器和探针执行操作,并独立观察由智能体实现的游戏。评测结合了引擎状态检查、经认证的参考输入重放,以及智能体自行编写的功能演示,以评估机制正确性、已展示的可玩性,以及修复后行为的恢复与保持情况。游戏专属的视觉-语言评分标准则单独评估画面呈现。在六个模型中,Opus5 在全部五类任务中均取得最高综合得分。在三类构建任务中,最高综合得分仍低于 60 分(满分 100),其中从简报生成游戏(Brief-to-Game)达到 50.38。对被审阅提交的分析表明,需求遗漏和玩法逻辑错误是主要的实现问题。在对 100 款由智能体构建游戏的人工标注行为上,可执行检查达到 92.59% 的平衡准确率,而基于视频的 VLM 评审为 78.41%。基于评分标准的视觉得分与 200 段游戏片段的人工评分之间的 Spearman 相关系数达到 0.829。这些结果共同刻画了当前智能体在各类游戏开发活动中的能力水平,并支持将运行时证据与视觉评估相结合的评测方式。
查看原文

相似文章

AgentSWE:编程智能体能构建出你真正想要的智能体吗?

Hugging Face Daily Papers

AgentSWE 引入了一个涵盖智能体创建、编辑和优化的基准测试,研究发现目前没有任何被评测的编程智能体能够可靠地交付符合用户需求的智能体,常见的失败模式包括过拟合和空洞的运行时实现。