测试 Mythos 和 Fable，超越 SWE-bench，Nvidia 的开放竞争者

# 测试 Mythos 和 Fable，超越 SWE-bench，英伟达的开放挑战者 来源：https://www.deeplearning.ai/the-batch/issue-358 亲爱的朋友们， 过去两周，美国政府与 Anthropic 都采取了重大行动，通过限制他人使用前沿模型的能力，展示了它们控制人工智能访问权的力量。这无疑是那种一旦目睹便难以视而不见的时刻，它正在显著加速许多企业和国家确保获得可靠、且他人无法终止的 AI 访问权的努力。 Anthropic 首先发布了 Claude Fable 5，这是其 Mythos 模型的增强护栏版本，包含了一些似乎基于安全理由而合理设置的限制（例如限制其用于黑客攻击、生物武器等）。然而，它也限制了开发者使用该模型构建竞争性 LLM 技术的能力。这一举措令人担忧，因为整个 AI 社区，包括 Anthropic 自身，都从开放研究中受益匪浅——事实上，AI 革命正是由我之前所在的团队（Google Brain）自由发表 Transformer 论文而开启的！ 想象一下，如果微软的使用条款禁止任何人使用其工具构建竞争性软件，或者谷歌禁止使用其搜索功能来研究竞品搜索引擎。Anthropic 声称允许他人推动 AI 进步是不安全的，这种说法听起来也很空洞。最初，Anthropic 通过不可见的干预措施，在未通知用户的情况下削弱了模型输出，从而静默地降低了被检测到从事 LLM 研究用户所获得的 Fable 5 性能。在遭到强烈反对后，它收回了这一决定，并决定在执行此类操作时保持透明，但它仍然拒绝使用其最新能力来帮助 AI 研究人员。 这一举动赤裸裸地展示了 Anthropic 的权力。它利用“安全”论点来阻碍潜在竞争对手。当平台被视为稳定、可靠的合作伙伴，可供他人构建时，它们才会成功。Anthropic 突然的规则更改（包括对 Fable 使用实行强制性的 30 天数据保留政策）让开发者们开始思考，依赖任何单一专有 LLM 提供商（不仅仅是 Anthropic）进行构建的稳定性。 随后不久，美国政府展示了更大的权力。它利用商务部对可能构成国家安全威胁的技术进行监管的职权，限制 Mythos 和 Fable 的出口，要求任何外国国民（无论是在美国境内还是境外，包括 Anthropic 的员工）使用都必须获得许可证。这导致 Anthropic 向全球所有用户禁用了 Fable 的访问权限。 Sam Altman 在提到 Anthropic 时指出：“说‘我们已经造了一颗炸弹，即将扔到你头上。我们将卖给你一个 1 亿美元的防弹避难所’，这无疑是极好的营销。”但是，当人们参与这种基于恐惧的营销时，就会增加美国政府认同你的观点，并对你声称已经造出的炸弹实施出口管制的可能性。 明确地说，我不认为 Anthropic 造出了什么类似炸弹的东西，我也不认为对 Fable 实施出口管制是恰当的。 卡通地图展示了研究、开源技术、基础设施、安全数据共享方面的全球合作。然而，在美政府采取这一举动之后，包括美国盟友在内的许多国家都看到了美国如何能突然切断它们对 AI 模型的访问。在世界各地的许多首都，这引发了关于 AI 主权以及其他人如何确保不间断地获取这项关键技术的讨论。 几十年来，许多国家都乐于让其供应链的许多部分依赖美国、中国和其他主要生产国。一旦一个国家发出威胁或采取行动限制其他国家的获取，其他国家自然会理性地寻求替代方案。几十年来，中国的半导体制造进展缓慢；一旦美国采取措施限制中国的获取，中国的努力便迅速加速。同样，一旦中国威胁美国的稀土矿产供应，美国获取替代方案的努力也随之加速。如今，美国私营企业和美国政府可以在短期内限制其他国家获取前沿 AI 模型，这一点已变得非常清楚，其他国家投资于开源等替代方案的积极性显著增加。当然，训练前沿模型并不容易，它们能取得多大成功还有待观察，但我们已经越过了卢比孔河。 Satya Nadella 写了一篇关于在前沿 AI 技术之上构建健康生态系统的重要性的文章。我由衷同意他的观点，并希望本周的事件最终能证明是朝着这个方向迈出的建设性步伐。 我希望我们能够建立一个更自由、更开放的世界，在那里研究可以自由分享，法律和社会规范能塑造一个公平的竞争环境，让每个人都能取得进步。过去两周事件的一线希望是，既然现在每个人都更好地认识到当前系统的关键不稳定点，我们都可以努力创建一个更稳定的基础。 继续构建吧！ Andrew ## 来自 DEEPLEARNING.AI (http://deeplearning.ai/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) 的信息 Vocal Bridge 的“AI 代理语音”课程广告，推广 AI 语音技术开发。包含声波图形。(https://www.deeplearning.ai/courses/voice-for-ai-agents-and-applications?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) 学习如何使用三种实用模式为 AI 代理和应用添加语音：将语音嵌入应用、将其层叠到现有代理上、或为代理提供工具以拨出电话。免费注册 (https://www.deeplearning.ai/courses/voice-for-ai-agents-and-applications?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) ## 新闻 柱状图显示 Claude Fable 5 的回退率，其中 ProgramBench 为 100%，其他各有不同。## Claude 的基准测试问题 在 Anthropic 将其最新的 Claude 模型移除流通之前，即使是专业测试人员也难以轻易判断他们拿到的是 Mythos 级别的模型，还是同名的弱版模型。 **最新消息：**多个独立组织报告称，他们无法完全评估 Claude Fable 5 (https://www.deeplearning.ai/the-batch/behold-mythos?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu)，这是 Anthropic 的 Claude Mythos 5 的带护栏、公开可用的版本。在所有情况下，模型都会拒绝某些测试提示或将其路由到能力较弱的 Claude Opus 4.8。一些评估者因 Anthropic 新的数据保留政策而拒绝提供专有提示。 **Claude Fable 5 的工作原理：**Anthropic 的分类器会在每个提示到达 Claude Fable 5 之前进行筛选。被标记的提示要么由较弱的模型代替回答，要么直接被拒绝。所有用户必须同意 Anthropic 将提示和输出保留 30 天，才能使用 Claude Fable 5。 - 分类器会筛选每个提示，检查其是否涉及网络安全、生物与化学、或 AI 模型工程。被标记的提示永远不会到达 Claude Fable 5。 - 在 Anthropic 自己的应用中，包括某些评估中使用的 Claude Code 工具，被标记的提示会自动路由到 Claude Opus 4.8，由后者代替 Claude Fable 5 回答。但 Claude Code 会将切换记录在单独的日志事件中，而不是回答文本中。评估者若要区分 Claude Opus 4.8 和 Claude Fable 5 的回应，则必须搜索日志并分离出 Claude Opus 4.8 回答的任务。 - 通过 API（大多数评估者使用模型的方式），同样的标记会产生直接拒绝并且不提供答案。在这种情况下，评估者可以启用回退，在 Claude Opus 4.8 上重试提示，或将任务计为失败。 **评估者如何评分：**每位评估者需要在“纯净”评估（尝试测量 Claude Fable 5 自身能力，不受 Claude Opus 4.8 影响）和“实际”评估（包括拒绝和回退）之间做出选择。Claude Mythos 5 未公开发布，因此无法被独立评估。 - Artificial Analysis 在 Claude Fable 5 发布前对其进行了评估，记录 (https://artificialanalysis.ai/articles/claude-fable-5-mythos-intelligence-index?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) 了模型在大约 8% 的任务中回退到 Claude Opus 4.8，这些任务来自其 Intelligence Index（一个由 10 项经济上有用任务测试组成的综合指标）。这些回退大多是对科学问题的回答。Artificial Analysis 将所有回退回应纳入评估，产生了混合分数。 - Vals AI 测试了公共和私有的经济上有用 AI 任务基准，发布 (https://x.com/ValsAI/status/2064804074168750458?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) 了两组 Claude Fable 5 的分数，一组包含 Claude Opus 4.8 回退答案，另一组将每次拒绝计为失败。Vals AI 还报告了在生物学和网络安全问题上的拒绝率接近 100%。 - 在 Agents' Last Exam（一项测试长周期智能体任务且结果可验证的基准）中，评估者报告 (https://agents-last-exam.org/blogs/agent-showdown?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) 称 Claude Fable 5 拒绝了大约 35% 的任务。模型将科学问题标记为“网络安全或生物学”，并在任务中途切换到 Claude Opus 4.8，将任务记录在单独的日志事件中而不是回应中。评估者比较了 Claude Fable 5 在“未触碰”任务（所有答案仅由 Claude Fable 5 生成）和复合任务（Claude Opus 4.8 贡献了部分或全部回应）上的表现。 - ARC Prize Foundation（负责 ARC-AGI 抽象推理测试）拒绝 (https://x.com/arcprize/status/2064399134099153344?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) 运行其验证评估，以避免将其私有测试集暴露给保留要求，并表示如果能在不交出问题的情况下进行测试，将公布结果。 **结果：**Claude Fable 5 在其独立回答（无回退）的问题上排名最高。当 Claude Opus 4.8 代替它回答被拒绝的提示时，Claude Fable 5 仍处于或接近顶部。当拒绝被计为失败或两个模型分别测量时，其排名大幅下降。 - 在 Artificial Analysis 的 Intelligence Index 上，Claude Fable 5（包括 Claude Opus 4.8 的回退回应）以 64.9 位列第一，比 Claude Opus 4.8 高 3.5%。尽管在 Humanity's Last Exam 上拒绝了 9% 的测试问题，Claude Fable 5 最终得分为 53%，是迄今记录的最高分，比 Claude Opus 4.8 高 7% 以上。 - 在 Vals AI 的测试套件上（其运行了 Anthropic 的可选回退功能，以便 Claude Fable 5 的拒绝在 Claude Opus 4.8 上重试），Claude Fable 5 在其大部分基准测试中位列第一，包括在整体 Vals Index 上的 75.14%。将这些拒绝计为失败仅使其整体得分降至 74.92%，但在被标记的领域中得分大幅下降。例如，在 GPQA Diamond（研究生级别的科学问题）上，Claude Fable 5 的准确率从 93.18%（第二名）跌至 55.56%（第 94 名）。 - 在 Agents' Last Exam 上，Claude Code/Claude Fable 5 自行回答的任务通过率为 22.8%，接近 Codex/GPT-5.5（23.8%），并远高于 Claude Code/Claude Opus 4.8（15.8%）。在 Claude Fable 5 的安全措施将回应转移到 Claude Opus 4.8 的任务上，结果降至 17.6%。Claude Fable 5 的综合通过率为 22.0%，落后于 GPT-5.5 的 24.0%。 **为何重要：**Anthropic 所说的安全措施使得直接测量 Claude Fable 5 的能力变得不可能。绕过其安全措施来测量模型并不能解决问题。没有分类器时取得的分数描述的是公众无法接触到的 Claude Fable 5 版本。而带有分类器时取得的任何分数描述的是一个移动目标，因为 Anthropic 可以随时重新调整分类器。 **我们的思考：**基准测试通常询问模型的能力有多强。Anthropic 的 Claude Fable 5 迫使我们面对一个更实际的问题：其用户实际获得了多少这种能力？评估者现在必须捕捉这个差距，不仅要报告模型的峰值分数，还要报告开发者在实践中可以依赖的能力。（根据经验，Fable 是一个出色的编程模型，我们期待其访问权限恢复的那一天，或者其他提供商能提供类似能力的模型。） --- 折线图比较了 SWE-Bench Pro 和 DeepSWE，显示了各种模型的性能百分比。## 超越漏洞追踪的智能体测试 SWE-bench 是一系列专注于 LLM 修复软件漏洞能力的基准测试，它正逐渐被新的测试所取代，这些测试以更具挑战性的方式评估智能体软件工程性能。 **最新消息：**最近发布的三个基准测试是替代 SWE-bench 系列（SWE-bench、SWE-Bench Pro、SWE-bench Multilingual 和 SWE-bench Verified）的有力竞争者。 - DeepSWE (https://deepswe.datacurve.ai/blog?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu)，它通过提出更难以诊断且需要更多代码才能解决的问题，来衡量智能体的功能实现能力。 - ProgramBench (https://arxiv.org/abs/2605.03546?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) 衡量智能体根据以提示形式输入的想法开发新程序的能力。 - ITBench-AA (https://artificialanalysis.ai/evaluations/itbench-aa?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--r1o4hpvkiPHwpdaoiDCYjbFfjJqOQNRJTJiR8OmUCW6pZV6isposNO_o3DkryW50mxqxu) 将测试扩展到智能体在现代硬件堆栈内诊断问题的能力。 **DeepSWE**：由 Datacurve 开发，DeepSWE 在意图上与 SWE-bench 最为接近，