一个让大模型玩《文明5》的评测基准：GLM-5.3 领先于 Opus-5.5，Qwen-3.8-27B 的表现也出人意料地好。

Reddit r/LocalLLaMA 论文
llm-benchmarks civ-v long-horizon-planning game-playing evaluation open-source

摘要

一项受控的 CivBench 基准评测了大模型在固定开局条件下完整游玩《文明5》的表现，结果显示 GLM-5.3 领先于 Opus-5.5，而 Qwen-3.8-27B 的表现同样令人惊喜；团队还发布了开源工具 Vox Deorum，并正在测试 GPT-6.1-Sol 等更新的模型。

不久前，我在这里发过帖子，让 OSS-120B 和 GLM-4.6 完整游玩《文明5》。从那以后，模型进步了不少，我们希望能更深入地了解模型在这类游戏中的能力。现在介绍在更新的模型上运行的受控版 CivBench：受控版 CivBench（Chen et al., 2026，扩展自我们 COLM 2026 的工作） 我们目前正在测试 GPT-6.1-Sol、GPT-6-Astra 等模型。欢迎推荐一些模型（尤其是有意思的开源权重模型）供我们下次测试！ 什么是《文明》？ 《文明5》（今天 Steam 特价 7.49 美元）是一款回合制策略游戏，你需要带领一个文明经历数百回合的扩张、科技、外交、战争，直至最终进入太空时代。这使它非常适合测试大模型评测中经常遇到的一个难题：那些后果可能要到 50 甚至 100 多个回合之后才会显现的决策。 一位扮演拜占庭的大模型战略家。狄奥多拉能重建罗马吗？ 这为什么是一项受控实验？ 我们不是让每个模型随机玩不同的对局，而是让它们轮流使用相同的三个固定开局。每局游戏包含八个文明：两个使用被测试的大模型战略家，六个使用标准的 Vox Populi AI。大模型负责制定高层战略，而《文明》现有的 AI 负责底层执行。 我能看到模型是怎么玩的吗？ 可以。几个例子： GLM-5.3：中国，文化胜利 Opus-5.5：摩洛哥，文化胜利 Qwen-3.8-27B：中国，科技胜利 我现在能玩一局吗？ 可以。如果你拥有这款游戏，Vox Deorum 是开源的，并且提供安装程序。你可以亲自用 LLM 驱动的文明对战、观看一场完整的 AI 对战 AI 的比赛，甚至和你的对手聊天。你也可以让大模型作为你的队友，一起合作争取胜利！ 作为一个和平主义者，看来我还是避免不了不平等条约。至少我能讨个便宜？ 我能用本地模型或现有的订阅吗？ 可以。支持本地的 OpenAI 兼容服务器，Qwen-3.8-27B 也能表现得非常出色。你也可以使用现有的 Claude 或 Codex 订阅。（我用它们跑了大量评测对局！GPT-6-Luna 几乎等于免费玩，每名玩家每局的 API 成本大约 0.5 美元。） 你们还学到了什么？ 请查看我们的 COLM 2026 论文了解方法论，以及 EMNLP 2026 论文了解模型是否会授权对他人发动核打击。我想《文明》毕竟只是个游戏，你觉得呢？ 至少让我们聊聊天，可以吗？（抱歉反复发送和删除这条内容。看来我不该用机上 Wi-Fi 发送包含大量图片的帖子。希望它们能正常显示！如果看不到图片请告诉我。）
查看原文

相似文章

GLM 5.2 对比 Opus

Hacker News Top

GLM 5.2 是 Z.ai 推出的全新开放权重模型，与 Claude Opus 在 3D 游戏编码任务中进行了对比。Opus 性能更快更清晰，但 GLM 5.2 在成本和易用性上具有显著优势。

@browser_use: Opus 5 和 GPT-5.6 Sol 在此不相上下！

X AI KOLs Timeline

Alexander Yue 推出了一项新的浏览器使用基准测试，其中 Opus 5 和 GPT-5.6 Sol 表现相似，强调了基准测试的稳健设计，包括为大语言模型评委提供的经过验证的评分标准。