DungeonBench：龙与地下城战斗中规则丰富的战术推理基准

# DungeonBench：一个用于龙与地下城战斗中规则密集型战术推理的基准测试

来源：https://arxiv.org/html/2607.29577

###### 摘要

游戏和模拟器通过将决策转化为可衡量的结果来提供有价值的基准测试，但许多现有测试套件未能充分测试规则密集型的战术推理能力：即在几何、时机、资源、目标和规则交互同时发挥作用时做出良好选择的能力。我们引入了*DungeonBench*，这是一个用于龙与地下城（D&D）战斗的战术推理基准测试，旨在覆盖2014年系统参考文档（System Reference Document）中绝大多数与战斗相关、且其效果可由模拟器解析的内容，同时保留简化战斗模拟器通常会抽象掉的机制。在每一步中，DungeonBench都会呈现一个完整的战术观察状态、一个待定决策，以及一个索引化的可执行选项列表，涵盖移动、攻击、法术、反应、目标、准备和稀缺资源。任务是评估合法选择的的价值，而这些选择的后果取决于行动经济性、生物特性、战场几何、时间窗口以及未来的遭遇战。DungeonBench有两条赛道：*Encounter*（遭遇战），评估单场战斗中的局部战术发挥；以及*Day*（冒险日），通过持续的生命值、法术位、消耗品、准备和短休息时机将多场遭遇战串联起来，迫使策略在即时战术优势与未来生存能力之间进行权衡。同一个由引擎生成的决策流支持启发式控制器、语言模型策略、学习型选项排序器以及掩码动作强化学习智能体。我们在此共享决策流上评估了前沿语言模型策略。结果表明，完整的战术观察并不会使基准测试饱和：前沿策略通常能赢得直接遭遇战，但串联的遭遇日暴露了在资源预算、休息时机和规则感知战术纪律方面的失败。

## 1 引言

参见图1：DungeonBench概览。引擎将战术状态映射为合法可执行选项；策略在同一决策流上进行选择，模拟器对Encounter和Day的结果进行评分。

游戏为人工智能提供了稳健的测试平台：明确的规则、可衡量的结果和可重复的交互循环，能够毫不含糊地说明智能体做了什么以及其决策产生了什么。因此，游戏已推动连续控制、棋类游戏、多智能体体育、程序化导航和开放世界等领域取得进展 (Brockmanet al.,2016 (https://arxiv.org/html/2607.29577#bib.bib2); Cobbeet al.,2020 (https://arxiv.org/html/2607.29577#bib.bib5); Lanctotet al.,2019 (https://arxiv.org/html/2607.29577#bib.bib4); Xuet al.,2025 (https://arxiv.org/html/2607.29577#bib.bib1))。然而，有一种推理仍然代表性不足：在合法动作异构且其价值由规则交互、时间窗口、目标和稀缺资源决定的领域中的战术判断。在战术领域中，一个决策可能是关于站在哪里，另一个是关于攻击哪个敌人，还有一个是关于是否消耗稀缺的法术位、触发反应、保护专注、利用地形，或是为后续战斗保留资源。这些选择涉及不同的动作类型，并通