Artificial Analysis 的 GPT 5.6 系列基准测试

Reddit r/singularity 新闻

摘要

Artificial Analysis 的基准测试显示,OpenAI 的 GPT-5.6 Sol 在智能方面几乎与 Claude Fable 5 相当,但成本仅为后者的三分之一;在编程智能体评测中领先;并引入了缓存写入定价。

GPT-5.6 Sol 在 Artificial Analysis 智能指数中仅次于 Claude Fable 5,成本仅为后者的三分之一,并在 OpenAI 的 Codex 环境中领先 Artificial Analysis 编程智能体指数。 我们支持了 @OpenAI 对 GPT-5.6 Sol、Terra 和 Luna 的预发布评估。GPT-5.6 Sol(最大推理)在 Artificial Analysis 智能指数中得分为 59 分,比 Claude Fable 5(最大推理)低 1 分,成本约为后者的三分之一。GPT-5.6 Terra(最大推理)和 Luna(最大推理)在智能指数中分别得分为 55 和 51,每任务成本比 Sol 低约 50% 和 80%。 GPT-5.6 Sol(最大推理)以 80 分领先 Artificial Analysis 编程智能体指数。 祝贺 @OpenAI 和 @sama 发布! 关键要点: ➤ 成本仅为 Claude Fable 5 的三分之一:在最大推理努力下,GPT-5.6 Sol 在 Artificial Analysis 智能指数中每任务成本为 1.04 美元——提供的智能水平与 Claude Fable 5 相当,但成本约为后者的三分之一。GPT-5.6 Sol 和 Luna 的不同推理级别提供了智能与每任务成本 Pareto 前沿上的一系列选项。例如,GPT-5.6 Luna(最大推理)在智能上达到或超越 GLM-5.2(最大推理)和 Gemini 3.5 Flash,且成本更低。GPT-5.6 Terra(最大推理)和 Luna(最大推理)每智能指数任务成本分别为 0.55 美元和 0.21 美元,比 Sol 低约 50% 和 80%。在不同的推理努力下,每个新的 GPT-5.6 模型都超越了 GPT-5.5 在 Pareto 前沿上的表现(不包括非推理模型)。值得注意的是,Luna 和 Sol 始终在 Pareto 前沿上领先于 Terra。这意味着对于任何 Terra 的努力水平,都存在一个 Luna 或 Sol 的努力水平,要么以相同成本提供更高智能,要么以更低成本提供相同智能。 ➤ 在所有编程智能体评测中领先:新的 Artificial Analysis 编程智能体指数将模型与智能体环境配对,包含三个前沿编程评测——DeepSWE、Terminal-Bench v2 和 SWE-Atlas-QnA。GPT-5.6 Sol(最大推理)在 Codex 中得分为 80 分,在所有三项评测中领先(在 Grok Build 的 SWE-Atlas-QnA 上与 Grok 4.5 并列)。除了得分更高外,其每任务成本比 Claude Fable 5(最大推理)在 Claude Code 中低约 40%,比 Opus 4.8(最大推理)低约 10%。GPT-5.6 Terra(最大推理)和 Luna(最大推理)在编程智能体指数中分别得分为 77 和 75,每任务成本比 Sol 降低约 60% 和 80%。 ➤ AA-Briefcase 中表现力 Elo 最高:GPT-5.6 Sol(最大推理)在 AA-Briefcase 中排名第二,仅次于 Claude Fable 5(最大推理),且拥有所有模型中最高表现力 Elo。AA-Briefcase 是一个新的基准测试,用于测试模型在行业专家构建的复杂项目中完成现实知识工作任务的能力。GPT-5.6 Sol(最大推理)拥有记录中最高的表现力 Elo——其在包括 PowerPoint 和 Excel 在内的各种文件类型中的输出是所有模型中最具视觉吸引力的。Fable 5(最大推理)仍然领先 AA-Briefcase,主要因为其评分标准得分为 56%,而 GPT-5.6 Sol(最大推理)为 42%。Fable 5(最大推理)的分析质量 Elo 为 1764,而 GPT-5.6 Sol(最大推理)为 1592。 ➤ 首批支持缓存写入定价的 OpenAI 模型:GPT-5.6 首次在 OpenAI 引入了缓存写入定价。Sol、Terra 和 Luna 的每百万输入/输出 token 价格分别为 $5/$30、$2.5/$15 和 $1/$6。OpenAI 保留了之前缓存读取 90% 的折扣,但像 Anthropic 一样引入了缓存写入的成本溢价,为输入 token 价格的 1.25 倍。缓存写入发生在输入 token 被提交到内存时。对缓存写入收费更准确地反映了模型的服务成本,因为缓存的 token 无论是否被重用都会占用内存。此外,与 Anthropic 的模型一样,GPT-5.6 引入了最大推理努力级别。 ➤ 低 token 使用量:GPT-5.6 Sol(最大推理)在同等智能水平的模型中使用的输出 token 更少,并定义了智能与每任务输出 token 的新 Pareto 前沿。GPT-5.6 Sol(最大推理)在 token 效率上略有提升,每智能指数任务使用 15k token,而 GPT-5.5 为 16k。值得注意的是,它比 Claude Opus 4.8(最大推理)、GLM-5.2(最大推理)和 Gemini 3.5 Flash(高)使用的 token 更少,且更智能。
查看原文
查看缓存全文

缓存时间: 2026/07/09 19:42

GPT-5.6 Sol 紧随 Claude Fable 5 之后,在 Artificial Analysis Intelligence Index 中位列第二,成本仅为后者的三分之一,并在 OpenAI 的 Codex 框架中领跑 Artificial Analysis Coding Agent Index。

我们支持了 @OpenAI 对 GPT-5.6 Sol、Terra 和 Luna 的预发布评估。GPT-5.6 Sol(最大推理)在 Artificial Analysis Intelligence Index 中得分为 59,比 Claude Fable 5(最大推理)仅低 1 分,而成本约为其三分之一。GPT-5.6 Terra(最大推理)和 Luna(最大推理)在智能指数中分别获得 55 分和 51 分,每任务成本比 Sol 低约 50% 和 80%。

GPT-5.6 Sol(最大推理)以 80 分领跑 Artificial Analysis Coding Agent Index。

祝贺 @OpenAI 和 @sama 发布!

关键要点:

➤ 成本仅为 Claude Fable 5 的三分之一:在最大推理努力下,GPT-5.6 Sol 在 Artificial Analysis Intelligence Index 中每任务成本为 1.04 美元——以约三分之一的价格提供与 Claude Fable 5 相近的智能水平。GPT-5.6 Sol 和 Luna 的不同推理级别在智能与每任务成本的帕累托前沿上提供了多种选项。例如,GPT-5.6 Luna(最大推理)在智能上达到或超过 GLM-5.2(最大推理)和 Gemini 3.5 Flash,且成本更低。GPT-5.6 Terra(最大推理)和 Luna(最大推理)每智能指数任务成本分别为 0.55 美元和 0.21 美元,比 Sol 低约 50% 和 80%。在不同推理努力下,每个新 GPT-5.6 模型都在帕累托前沿上超越了 GPT-5.5(排除非推理模型)。值得注意的是,Luna 和 Sol 始终位于 Terra 之前的帕累托前沿上。这意味着,对于 Terra 的任何努力水平,都存在一个 Luna 或 Sol 的努力水平,能以相同成本获得更高智能,或以更低成本获得相同智能。

➤ 在所有编码代理评估中领先:全新 Artificial Analysis Coding Agent Index 将模型与代理框架配对,包含三项前沿编码评估——DeepSWE、Terminal-Bench v2 和 SWE-Atlas-QnA。GPT-5.6 Sol(最大推理)在 Codex 中该指数得分为 80,在所有三项评估中领先(在 SWE-Atlas-QnA 上与 Grok Build 中的 Grok 4.5 并列)。除了得分更高外,其每任务成本分别比 Claude Code 中的 Claude Fable 5(最大推理)和 Opus 4.8(最大推理)低约 40% 和 10%。GPT-5.6 Terra(最大推理)和 Luna(最大推理)在 Coding Agent Index 中分别得分为 77 和 75,每任务成本比 Sol 降低约 60% 和 80%。

➤ 在 AA-Briefcase 中获得最高展示 Elo:GPT-5.6 Sol(最大推理)在 AA-Briefcase 中排名仅次于 Claude Fable 5(最大推理),并拥有所有模型中最高的展示 Elo。AA-Briefcase 是一个全新基准,用于测试模型在由行业专家构建的复杂项目中处理实际知识工作的能力。GPT-5.6 Sol(最大推理)的展示 Elo 为历史最高——其输出的各种文件类型(包括 PowerPoint 和 Excel)在所有模型中视觉吸引力最强。Fable 5(最大推理)仍领跑 AA-Briefcase,主要得益于其 56% 的评分标准得分,而 GPT-5.6 Sol(最大推理)为 42%。Fable 5(最大推理)的分析质量 Elo 为 1764,而 GPT-5.6 Sol(最大推理)为 1592。

➤ 首批采用缓存写入定价的 OpenAI 模型:GPT-5.6 首次为 OpenAI 引入了缓存写入定价。Sol、Terra 和 Luna 的每百万输入/输出 token 价格分别为 5/30、2.5/15 和 1/6。OpenAI 保留了此前缓存读取 90% 的折扣,但效仿 Anthropic 引入了缓存写入的成本加成,价格为输入 token 的 1.25 倍。缓存写入发生在输入 token 被提交到内存时。对缓存写入收费能更准确地反映模型的服务成本,因为缓存的 token 无论是否被重用都会占用内存。与 Anthropic 的模型一致,GPT-5.6 也引入了最大推理努力级别。

➤ 低 token 使用量:GPT-5.6 Sol(最大推理)使用的输出 token 少于大多数同等智能的模型,并在智能与每任务输出 token 数量上定义了新的帕累托前沿。GPT-5.6 Sol(最大推理)的 token 效率略有提升,每智能指数任务使用 15k token,而 GPT-5.5 为 16k。值得注意的是,其 token 使用量更少,同时智能高于 Claude Opus 4.8(最大推理)、GLM-5.2(最大推理)和 Gemini 3.5 Flash(高推理)。

相似文章

GPT 5.6 Sol 基准测试

Reddit r/singularity

GPT 5.6 Sol 在 AI 语言建模方面取得新的基准测试结果,展示了性能改进。

新的GPT-5.6系列:Luna、Terra、Sol

Simon Willison's Blog

OpenAI发布了GPT-5.6系列,提供三种规格(Luna、Terra、Sol),具有更强的智能体性能、新的API功能(如程序化工具调用和多智能体支持),以及相比Claude模型更具竞争力的定价。