SWE-Game:编码智能体能否构建我们想要的游戏?
摘要
我们提出 SWE-Game,一个包含 247 项任务的基准,基于 41 款可执行的 Godot 游戏,涵盖五类游戏开发任务。在六个模型的评测中,Opus5 表现最佳,但最高分仍低于 60/100,凸显了智能体在需求满足和游戏玩法逻辑方面的不足。
我们提出 SWE-Game,一个包含 247 项任务的基准,基于 41 款可执行的 Godot 参考游戏,涵盖 2D 与 3D 中的 13 种玩法类别。五类任务覆盖了游戏开发的完整流程:从简报出发的开发、基于游戏设计文档的实现、骨架补全、83 个注入故障案例的修复,以及从 Godot 到 Unity 的移植。参考材料规定了预期玩法,同时共享的插桩接口允许评测方自有的驱动器和探针执行操作,并独立观察由智能体实现的游戏。评测结合了引擎状态检查、经认证的参考输入重放,以及智能体自行编写的功能演示,以评估机制正确性、已展示的可玩性,以及修复后行为的恢复与保持情况。游戏专属的视觉-语言评分标准则单独评估画面呈现。在六个模型中,Opus5 在全部五类任务中均取得最高综合得分。在三类构建任务中,最高综合得分仍低于 60 分(满分 100),其中从简报生成游戏(Brief-to-Game)达到 50.38。对被审阅提交的分析表明,需求遗漏和玩法逻辑错误是主要的实现问题。在对 100 款由智能体构建游戏的人工标注行为上,可执行检查达到 92.59% 的平衡准确率,而基于视频的 VLM 评审为 78.41%。基于评分标准的视觉得分与 200 段游戏片段的人工评分之间的 Spearman 相关系数达到 0.829。这些结果共同刻画了当前智能体在各类游戏开发活动中的能力水平,并支持将运行时证据与视觉评估相结合的评测方式。
相似文章
GameCraft-Bench:智能体能否在真实游戏引擎中端到端构建可玩游戏?
GameCraft-Bench是一个基准测试,用于评估AI编程智能体在Godot引擎上根据自然语言描述进行端到端游戏生成的能力。最强智能体仅达到41.46%,表明该任务依然极具挑战性。
SWE-bench Science:编码代理能否解决科学工程任务?
SWE-bench Science 引入了一个仓库级基准,用于评估编码代理在科学软件修复任务中的表现,揭示了失败机制和科学指导的混合效应。
GameXpert-Bench: 编程代理距离专家游戏开发还有多远?
本文介绍了GameXpert-Bench,一个包含三个轨道的基准测试,用于评估编程代理在游戏创建、错误修复和优化方面的开发能力。研究发现,当前代理在初始生成方面优于缺陷发现和多轮优化。
SWE-Touch:当用户修改代码时对编码智能体的基准测试
介绍了SWE-Touch,一个基准测试框架,它在智能体编码轨迹中注入与用户冲突的编辑,结果表明,尽管当前编码智能体在独立基准测试中表现强劲,但在协作场景中性能显著下降。
AgentSWE:编程智能体能构建出你真正想要的智能体吗?
AgentSWE 引入了一个涵盖智能体创建、编辑和优化的基准测试,研究发现目前没有任何被评测的编程智能体能够可靠地交付符合用户需求的智能体,常见的失败模式包括过拟合和空洞的运行时实现。