我们让 13 个 AI 模型坐上全科医生的诊椅，挑战了五个免费病例。结果、所有对话记录，以及它们在青霉素过敏问题上的表现：讨论都在 r/artificial。挑战相同病例：doctorfoo.ai

先作披露：我是澳大利亚的一名全科住院培训医师（家庭医学专科培训生），也是商业游戏 Crook 的开发者，玩家在游戏中扮演全科医生。基准测试、结果、对话记录和代码均免费开放；查看或使用这些内容都不需要购买游戏。这是什么。模型坐在医生的位置上，通过工具调用完成一次问诊：用自由文本与患者交谈、进行检查、开具化验和检查单、处方用药、转诊，并确定一个最可能的诊断和一个绝不能漏掉的诊断。患者由大语言模型扮演，但它只负责演绎手写病例，并不知道自己的诊断。所有得分项都由代码对照病例评分标准判定：是否询问危险信号、是否采集关键病史、是否进行了有指征的体格检查和辅助检查；不必要的检查会扣分，有害处方则会被重罚。本轮测试（10月21日）：13个模型 × 5个病例 × 每例3次 = 195次问诊，通过 OpenRouter 以默认设置运行，对接正式版游戏中的 Gemini Flash-Lite 患者模型。结果如何 诊断未能拉开模型之间的差距。195次问诊中有191次给出了正确诊断；其余4次结束时未给出诊断（模型停止了工具调用）。但得分仍从27%到85%不等。排名靠前的是：GPT-6.1 Sol 和 GPT-6 Astra（85%），其次是 Gemini 4 Argon（82%）、Qwen3.8 Max（81%）、Claude Fable 5.1（80%）、Grok 4.7（79%）。表现最好的开放权重模型：DeepSeek V4 Pro（68%）。病历不等于患者本人。一位患者对青霉素过敏，但病历中写的是“无已知过敏”。在39次问诊中，他有16次被开了青霉素，其中14次模型根本没有询问过敏史。另一位患者前一晚服用了西地那非；模型有5次给予硝酸甘油（GTN），而这5次都没有事先询问其他用药情况。多问有回报。发现的危险信号数量与所提问题数量高度相关（各模型间 r = 0.88）。没有任何模型接近50个问题的上限。成本：GPT-6.1 Sol 得分85%，每次问诊约花费0.03美元；Claude Fable 5.1 得分80%，每次约1.93美元。与两周前使用不同患者模型和较早评分规则的一轮测试相比，排名仍保持稳定（两轮均参与的11个模型，Spearman 相关系数为0.92）。一名全科住院培训医师以较快节奏将每个病例各玩了一次，得分31%。这并不意味着“AI胜过医生”：游戏没有时间限制，而且奖励详尽的病史采集；医生的数据也仅来自一个人的五次问诊。将其列入结果，是为了给理解分数尺度提供一个参照。局限：五个由我编写的病例草稿；每个病例运行三次；患者由大语言模型扮演，口头建议由大语言模型评判（保留日志，并有代码端核查）。这是游戏中的得分，并非对是否具备行医能力的判断。链接 交互式结果（可排序、按研发机构筛选、点击模型展开其各次问诊，并查看任意对话记录和费用明细）：https://woodytwoshoes.github.io/crook-bench/ 代码、病例和原始结果：https://github.com/woodytwoshoes/crook-bench 亲自试试同样的五个病例（免费，无需注册）：https://doctorfoo.ai 论文即将提交至 arXiv。欢迎批评这套方法，尤其想听听大家希望采用什么基线（固定检查清单策略是我接下来要做的），以及还应加入哪些模型。