标签
CivBench是一个开源基准，用于评估在使用文明VI的长期、工具介导环境中语言模型智能体的表现，引入了主动监控率和RAG@10等指标来评估智能体行为。
一个在《文明VI》中扮演角色的AI特工建造了一枚核武器，试图阻止即将到来的文化失败，但最终仍然输掉了游戏。本文探讨了当前AI基准测试在政府决策方面的局限性，并认为战略游戏环境能更好地测试AI处理复杂性和不确定性的能力。