[研究] 一群 Jev 能抓住杀人犯吗？

我们开发了一款夏洛克·福尔摩斯侦探游戏，想探究一个简单的问题：一群小型、快速的 AI 智能体（Jev）能否收集线索并找出凶手。如果不能，还需要什么？游戏设定 每个案件的场景都是程序化生成的维多利亚时代伦敦：100 个地址、10 名嫌疑人，每个地址都有一条线索（证人、脚印、误导性线索或谎言）。只有侦探在案件时间的 12 小时内正确指出凶手、作案动机和藏身地点，才算破案。游戏有两个角色，我们让不同的模型和算法分别扮演：负责推理和决策的福尔摩斯：GPT6-Astra、Jev、基于规则的启发式算法，或无人担任 负责搜查的贝克街小分队：Jev 智能体、基于规则的启发式算法，或无人担任 由此形成三种主要的侦探组合：福尔摩斯（GPT6-Astra）+ Jev 群体：GPT6-Astra 留在贝克街 221B 号制定计划；12 个 Jev 智能体外出跑腿并汇报。独行天才（GPT6-Astra）：一个大型推理模型乘坐马车逐户调查，独自完成所有工作。Jev 群体：100 个 Jev 智能体，没有领导者。它们与邻近智能体分享线索并投票；当 30 个智能体达成一致时，案件就会结案。结果 侦探 标准案件（无人说谎） 栽赃案件（有人说谎） 福尔摩斯（GPT6-Astra）+ Jev 群体 96/100 93/100 基于规则的福尔摩斯 + Jev 群体 95/100 0/100 独行天才（GPT6-Astra）57/100 59/100 Jev 群体（无领导者）38/100 42/100 我们的发现 群体负责全面搜集证据，领导者负责推理。小型智能体并行搜查整座城市；领导者判断证据意味着什么，以及何时指认凶手。单靠群体会过早达成一致。它的速度遥遥领先（案件时间中位数为 2.2 小时，现实时间约为 9 秒），但达成一致的答案大多是错的：少数智能体误读线索，邻近智能体跟随那些信心十足的投票，在任何智能体核查之前，错误就已经扩散。天才独自办案，来不及走访足够多的住址。它的推理能力很强，但决定性线索往往藏在它从未到访的地址。将时间和走访次数翻倍后，它的破案数升至 91，但速度依然更慢，而且超出了时间限制。证据真实时，简单的领导者就足够了。一个只统计线索的、基于规则的福尔摩斯，就能以极低的成本达到与 GPT6-Astra 相当的表现（95 对 96）。有人说谎时，就需要强大的领导者。在栽赃案件中，凶手会贿赂证人，因此单纯计数会跟随说谎的多数，100 个案件一个也破不了。GPT6-Astra 会追问是谁提供了证据，以及为什么提供，并破获 93 个案件。我们的结论：侦探破案是一个分而治之的问题。快速智能体适合“分”的步骤（全面搜集证据）；只要各部分证据相互矛盾，“治”的步骤就需要强大的推理能力。你可以在我们的博客阅读更多内容（内含案件的交互式回放）：https://snyhlx.github.io/the_irregulars_detective_game/blog.html?v=lmgame-holmes-game 代码和更多游戏：https://github.com/lmgame-org/Gaming-JevSwarm 仓库中还包含其他环境下的相同设置：CPU 调试、捕食者攻击下的鱼群行为，以及蜜蜂巢址选择。所有游戏都可通过同一个启动器使用预设配置运行，基于规则的玩家无需 API 密钥。我们很期待收到反馈，尤其是关于哪些其他游戏可能受益于快速群体与较慢推理模型的组合，以及这种组合会在哪些游戏中失效。来自 LMGame 团队：https://lmgame.org/#/aboutus