GPT-5.6, Grok 4.5, Claude 和 Muse Spark 构建相同的4个应用

# GPT-5.6、Grok 4.5、Claude 和 Muse Spark 共同构建了这 4 款应用 来源：https://www.tryai.dev/blog/gpt-5.6-build-off-12-models 我们上次的构建比拼（https://www.tryai.dev/blog/grok-4.5-vs-gpt-5.5-vs-claude-build-off）登上了 Hacker News 首页（https://news.ycombinator.com/item?id=48838772），评论区毫不客气。好吧，其中很多都是很好的反馈。所以我们接受了这些反馈，并趁着 GPT-5.6 以三个层级（Sol、Terra、Luna）发布、以及 Meta 意外推出编码模型 Muse Spark 1.1 的时机，重新进行了整个比拼，规模更大：十二个模型、四个应用、每个五次尝试。 根据你们的反馈，我们做了以下调整： - **你们希望将开源权重模型纳入比拼。** 因此我们加入了 GLM-5.2（https://www.tryai.dev/models/glm-5.2）、Qwen 3.7 Plus（https://www.tryai.dev/models/qwen-3.7-max）、DeepSeek V4 Pro（https://www.tryai.dev/models/deepseek-v4）和 Kimi K2.6（https://www.tryai.dev/models/kimi-k2.6）作为对比参考，均通过 Fireworks（https://fireworks.ai/）提供服务。 - **你们说只有一次尝试很奇怪。** 同意。现在每个模型在每个任务上都有五次尝试。顶部展示每个模型的一次样本运行；每个任务表格则说明五次中我们认为实际成功的有多少次（以及如何计数的），并链接到我们最喜欢的那次尝试；底部则链接了所有尝试，以便大家看到这些模型在每次运行之间的差异有多大。 - **“这不客观。”** 没错，我们也没假装客观。我们不是在给出科学结论。我们只是生成了一大堆产出物，全部公开，大家可以自行判断。下面的内容都只是我们对结果的观察。 想直接跳去摆弄原始构建？跳到所有尝试（https://www.tryai.dev/blog/gpt-5.6-build-off-12-models#play-with-every-attempt）部分，亲自运行。 十二个模型的阵容：新的 GPT-5.6 Sol（https://www.tryai.dev/models/gpt-5.6-sol）、GPT-5.6 Terra（https://www.tryai.dev/models/gpt-5.6-terra）和 GPT-5.6 Luna（https://www.tryai.dev/models/gpt-5.6-luna）；Meta 的 Muse Spark 1.1（https://www.tryai.dev/models/muse-spark-1.1）；Grok 4.5（https://www.tryai.dev/models/grok-4.5）、GPT-5.5（https://www.tryai.dev/models/gpt-5.5）、Claude Opus 4.8（https://www.tryai.dev/models/claude-opus-4.8）和 Claude Fable 5（https://www.tryai.dev/models/claude-fable-5）；再加上开源权重模型组：Qwen 3.7 Plus（https://www.tryai.dev/models/qwen-3.7-max）、DeepSeek V4 Pro（https://www.tryai.dev/models/deepseek-v4）、Kimi K2.6（https://www.tryai.dev/models/kimi-k2.6）和 GLM-5.2（https://www.tryai.dev/models/glm-5.2）。 以下是每个任务：顶部展示我们挑选的五个尝试中的最佳结果，下方是所有五次尝试的成本和时间，底部（https://www.tryai.dev/blog/gpt-5.6-build-off-12-models#play-with-every-attempt）则链接了每次原始尝试，方便大家自行评判。 ## 任务 1：Doom 风格的光线投射迷宫 > 第一人称光线投射，WASD 移动，带深度阴影的墙壁，地板和天花板，碰撞检测。 Grok 4.5 | Claude Opus 4.8 | GPT-5.5 | Qwen 3.7 Plus | Kimi K2.6 | Claude Fable 5 | DeepSeek V4 Pro | GLM-5.2 | GPT-5.6 Sol | GPT-5.6 Terra | GPT-5.6 Luna | Muse Spark 1.1 我们判定“可玩”的标准：唯一关心的问题就是你是否真的能在迷宫中行走、移动和转身。如果可以，就算成功。 | 模型 | 可玩次数 | 最佳构建 | 成本（5 次运行） | 平均用时 | 我们的看法 | |------|---------|---------|----------------|---------|----------| | Grok 4.5 | 5/5 | #4 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/grok-4.5/attempt-4.html) | 0.27 美分 | 62 秒 | 性价比很高。 | | Claude Opus 4.8 | 4/5 | #2 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/claude-opus-4.8/attempt-2.html) | 0.54 美分 | 48 秒 | 结果稳定但略显平淡。 | | GPT-5.5 | 4/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/gpt-5.5/attempt-1.html) | 1.44 美分 | 138 秒 | GPT-5.6 之前的最佳整体表现。 | | Qwen 3.7 Plus | 2/5 | #4 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/qwen-3.7-max/attempt-4.html) | 0.13 美分 | 43 秒 | — | | Kimi K2.6 | 2/5 | #2 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/kimi-k2.6/attempt-2.html) | 1.37 美分 | 88 秒 | — | | Claude Fable 5 | 3/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/claude-fable-5/attempt-1.html) | 2.35 美分 | 107 秒 | 结果不错，但一致性稍差。 | | DeepSeek V4 Pro | 3/5 | #4 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/deepseek-v4/attempt-4.html) | 0.30 美分 | 318 秒 | — | | GLM-5.2 | 0/5 | — | 0.12 美分 | 133 秒 | 渲染细节不错，但角色在任何尝试中都无法移动。 | | GPT-5.6 Sol | 5/5 | #5 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/gpt-5.6-sol/attempt-5.html) | 1.35 美分 | 120 秒 | 最佳结果：一致性好于 GPT-5.5，且游戏整体细节更丰富。 | | GPT-5.6 Terra | 3/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/gpt-5.6-terra/attempt-1.html) | 0.44 美分 | 39 秒 | 细节不错，但一致性稍差，有时无法行走。 | | GPT-5.6 Luna | 5/5 | #5 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/gpt-5.6-luna/attempt-5.html) | 0.15 美分 | 23 秒 | 结果不错，但我觉得不如 GPT-5.5。 | | Muse Spark 1.1 | 2/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/raycaster/muse-spark-1.1/attempt-1.html) | 0.55 美分 | 169 秒 | 成功时令人惊讶地出色。五次中有三次失败，但成功的那些与 Fable 和 Sol 相当，优于 Grok 和 Opus 的版本。 | 总的来说，Claude 在这个任务上的表现低于我们的预期。GPT 在所有模型中表现最佳，Grok 在价格上是一个真正可用的替代品，而 Muse Spark 在成功运行中确实令人惊喜。 ## 任务 2：3D 魔方（打乱 + 还原） > 构建一个彩色的、3D 风格的魔方，带有“打乱”和“还原”按钮，并显示可见的旋转动画。 Grok 4.5 | Claude Opus 4.8 | GPT-5.5 | Qwen 3.7 Plus | Kimi K2.6 | Claude Fable 5 | DeepSeek V4 Pro | GLM-5.2 | GPT-5.6 Sol | GPT-5.6 Terra | GPT-5.6 Luna | Muse Spark 1.1 我们判定“干净还原”的标准：我们打乱并还原魔方，仅当两次动画都流畅、无故障、无颜色变化时才算成功。 | 模型 | 干净还原次数 | 最佳构建 | 成本（5 次运行） | 平均用时 | 我们的看法 | |------|------------|---------|----------------|---------|----------| | Grok 4.5 | 3/5 | #4 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/grok-4.5/attempt-4.html) | 0.65 美分 | 191 秒 | 结果简单且不错。 | | Claude Opus 4.8 | 0/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/claude-opus-4.8/attempt-1.html) | 0.56 美分 | 44 秒 | 没有完美示例，每个都有小问题，魔方颜色会变化，但有些接近。 | | GPT-5.5 | 4/5 | #4 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/gpt-5.5/attempt-4.html) | 1.36 美分 | 136 秒 | 结果不错，但有小瑕疵，如颜色闪烁或旋转动画不够流畅。 | | Qwen 3.7 Plus | 1/5 | #5 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/qwen-3.7-max/attempt-5.html) | 0.07 美分 | 24 秒 | 成功时看起来很棒！ | | Kimi K2.6 | 1/5 | #4 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/kimi-k2.6/attempt-4.html) | 1.05 美分 | 59 秒 | 不怎么样。 | | Claude Fable 5 | 5/5 | #2 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/claude-fable-5/attempt-2.html) | 2.03 美分 | 92 秒 | 无可挑剔，结果真的很棒。 | | DeepSeek V4 Pro | 1/5 | #3 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/deepseek-v4/attempt-3.html) | 0.35 美分 | 380 秒 | — | | GLM-5.2 | 0/5 | — | 0.08 美分 | 89 秒 | 出人意料，没有成功结果。 | | GPT-5.6 Sol | 4/5 | #5 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/gpt-5.6-sol/attempt-5.html) | 1.06 美分 | 72 秒 | 结果不错。有一次动画奇怪，有一次渲染出全黑魔方（有趣的选择），但成功的那些表现很好。 | | GPT-5.6 Terra | 4/5 | #4 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/gpt-5.6-terra/attempt-4.html) | 0.42 美分 | 38 秒 | 还行，有奇怪的打乱动画，感觉比 GPT-5.5 略微进步。 | | GPT-5.6 Luna | 0/5 | — | 0.14 美分 | 24 秒 | 初始通常渲染正确，但打乱后立即出问题。 | | Muse Spark 1.1 | 2/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/muse-spark-1.1/attempt-1.html) | 0.54 美分 | 182 秒 | 比开源模型好一些，但在价格上我不会用它替代 Grok。 | 总的来说，我们惊讶于 GPT 在此任务中表现不佳，因为它在光线投射任务中 3D 能力明显领先。Claude 再次表现惊艳，不过主要是 Fable 以五战全胜的成绩支撑，而 Opus 奇怪地未能完成一次完美还原。 实时体验任一模型的所有五次尝试：Grok (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/grok-4.5/attempt-1.html) · Opus (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/claude-opus-4.8/attempt-1.html) · Qwen (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/rubiks-cube/qwen-3.7-max/attempt-1.html)（将数字 1-5 替换为其他尝试）。 ## 任务 3：计算器 > 数字、运算符、清除、等号、正确的运算符优先级，真实计算器外观。 Grok 4.5 | Claude Opus 4.8 | GPT-5.5 | Qwen 3.7 Plus | Kimi K2.6 | Claude Fable 5 | DeepSeek V4 Pro | GLM-5.2 | GPT-5.6 Sol | GPT-5.6 Terra | GPT-5.6 Luna | Muse Spark 1.1 我们判定“可用”的标准：不追求全面，只用简单计算如 ((5 × 5) − 100) / 10 来测试每个模型如何处理运算顺序并渲染结果。 | 模型 | 可用次数 | 最佳构建 | 成本（5 次运行） | 平均用时 | 我们的看法 | |------|---------|---------|----------------|---------|----------| | Grok 4.5 | 5/5 | #5 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/grok-4.5/attempt-5.html) | 0.37 美分 | 110 秒 | 简单、一致的结果，无额外样式。 | | Claude Opus 4.8 | 5/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/claude-opus-4.8/attempt-1.html) | 0.46 美分 | 35 秒 | — | | GPT-5.5 | 4/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/gpt-5.5/attempt-1.html) | 0.91 美分 | 75 秒 | 有时会添加多余按钮，并尝试以 3D 渲染，导致内容常常被截断。 | | Qwen 3.7 Plus | 4/5 | #4 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/qwen-3.7-max/attempt-4.html) | 0.04 美分 | 12 秒 | 工作稳定且一致，但有一次无法处理负数。 | | Kimi K2.6 | 0/5 | #5 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/kimi-k2.6/attempt-5.html) | 0.76 美分 | 50 秒 | 能工作，但无法处理负数。 | | Claude Fable 5 | 5/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/claude-fable-5/attempt-1.html) | 1.22 美分 | 48 秒 | 从样式上来说，我个人最喜欢。 | | DeepSeek V4 Pro | 3/5 | #3 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/deepseek-v4/attempt-3.html) | 0.28 美分 | 342 秒 | 一次数字顺序错乱，一次结果未渲染。 | | GLM-5.2 | 2/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/glm-5.2/attempt-1.html) | 0.07 美分 | 63 秒 | 成功时结果很好。 | | GPT-5.6 Sol | 5/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/gpt-5.6-sol/attempt-1.html) | 0.84 美分 | 61 秒 | 像 GPT-5.5 一样尝试过度样式。这在光线投射中有所帮助，但在这里却很烦人，一些样式走样了，不如干净一致的效果好。 | | GPT-5.6 Terra | 4/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/gpt-5.6-terra/attempt-1.html) | 0.28 美分 | 20 秒 | 成功时结果不错。 | | GPT-5.6 Luna | 5/5 | #1 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/gpt-5.6-luna/attempt-1.html) | 0.11 美分 | 16 秒 | 结果一致、良好，感觉与 Grok 类似。 | | Muse Spark 1.1 | 5/5 | #5 (https://d1md4c6gq9re9p.cloudfront.net/blog/gpt-5.6-buildoff/calculator/muse-spark-1.1/attempt-5.html) | 0.33 美分 | 94 秒 | 整体表现不错，无明显问题，与 Grok 4.5 相当。偶尔按钮顺序错乱或位置不当影响了样式得分。 | 总的来说，这显然是 Claude 表现最好的任务：Opus 和 Fable 都五战全胜，而 Fable 在样式上是我们最喜欢的。GPT-5.6 Sol 试图过度添加样式并以 3D 渲染计算器（类似 Fable），但样式把握不佳，导致整体体验反而更差。较简单的 GPT 模型反而因为开箱即用的体验更好。GLM-5.2 在关闭推理后，也从九分钟的失败中恢复，生成了一个快速、成本极低的构建。 ## 任务 4：康威生命游戏 > 网格画布，播放/暂停/步进/随机化/清除按钮，点击单元格切换状态，动画显示世代演变。 Grok 4.5 | Claude Opus 4.8 | GPT-5.5 | Qwen 3.7 Plus | Kimi K2.6 | Claude Fable 5 | DeepSeek V4 Pro | GLM-5.2 | GPT-5.6 Sol | GPT-5.6 Terra | GPT-5.6 Luna | Muse Spark 1.1 我们没有对生命游戏进行单独的 5 次尝试评分，因此这里只显示成本和用时，以及下方的总体印象。 | 模型 | 成本（5 次运行） | 平均用时 | |------|----------------|---------| | Grok 4.5 | 0.14 美分 | 38 秒 | | Claude Opus 4.8 | 0.48 美分 | 35 秒 | | GPT-5.5 | 1.06 美分 | 79 秒 | | Qwen 3.7 Plus | 0.04 美分 | 11 秒 | | Kimi K2.6 | 0.93 美分 | 53 秒 | | Claude Fable 5 | 1.27 美分 | 48 秒 | | DeepSeek V4 Pro | 0.25 美分 | 304 秒 | | GLM-5.2 | 0.10 美分 | 121 秒 | | GPT-5.6 Sol | 0.99 美分 | 62 秒 | | GPT-5.6 Terra | 0.36 美分 | 25 秒 | | GPT-5.6 Luna | 0.13 美分 | 18 秒 | | Muse Spark 1.1 | 0.32 美分 | 98 秒 | Grok 4.5 在这里表现不错，但更重要的是，这个任务对于开源模型来说足够简单，因此它们能表现极好。可能因为生命游戏的公开示例代码足够多，它们能以更低的成本完成更好的工作。Qwen 3.7 Plus 和 GLM-5.2 显然是此类任务的首选，但我一般不会依赖它们，其他任务表明它们在真正新颖或更复杂的工作上仍显吃力。 ## 原始数据：原始速度与成本（简短回答） 独立的问题，独立的表格。这是我们标准的延迟测试（三个简短提示，五次重复，400 token 上限），而非构建任务。tok/s 是输出 token 除以实际时间，对所有模型统一。 | 模型 | 中位延迟 | 吞吐量 | 每次回复成本 | |------|---------|-------|------------| | GPT-5.6 Luna | 1.0 秒 | 97 tok/s | 0.001 美分 | | GPT-5.6 Terra | 1.5 秒 | 62 tok/s | 0.001 美分 | | GPT-5.6 Sol | 1.8 秒 | 45 tok/s | 0.003 美分 | | Qwen 3.7 Plus | 2.1 秒 | 204 tok/s | 0.001 美分 | | Claude Opus 4.8 | 2.5 秒 | 44 tok/s | 0.004 美分 | | GPT-5.5 | 3.0 秒 | 45 tok/s | 0.003 美分 | | Grok 4.5 | 3.0 秒 | 112 tok/s | 0.003 美分 | | Muse Spark 1.1 | 3.1 秒 | 125 tok/s | 0.002 美分 | | Kimi K2.6 | 4.5 秒 | 83 tok/s | 0.01 美分 | | Claude Fable 5 | 6.6 秒 | 30 tok/s | 0.01 美分 | | GLM-5.2 | 7.0 秒 | 58 tok/s | 0.001 美分 | | DeepSeek V4 Pro | 9.3 秒 | 37 tok/s | 0.001 美分 | 一个诚实的说明：几个开源模型会一次性缓冲整个回复并达到 400 token 上限，因此它们的 tok/s 是上限值，而非真实的解码速率。清晰的数据：GPT-5.6 各层级在短提示下是这里最快的模型（Luna 大约一秒内回应），Qwen 出奇地廉价且快速，而 DeepSeek 和 GLM 则较慢，这与它们生成应用时的痛苦体验相符。 ## 附加题：画一匹马骑在宇航员上（SVG，取 5 次中的最佳） 一次性 SVG，无库。展示每个模型五次中的最佳结果（我们优先选择严格有效的 SVG，其次是最详细的）。 Grok 4.5 | Claude Opus 4.8 | GPT-5.5 | Qwen 3.7 Plus | Kimi K2.6 | Claude Fable 5 | DeepSeek V4 Pro | GLM-5.2 | GPT-5.6 Sol | GPT-5.6 Terra | GPT-5.6 Luna | Muse Spark 1.1 就个人而言，Claude Fable 在 SVG 渲染上做得很好。多数时候也很有趣，并产出了高质量的结果。GPT-5.6 模型在这里出人意料地平淡无奇，因为它们都没有包含马或宇航员的清晰渲染。Grok 4.5 在这里也表现不错。 ## 附加题 2：埃隆和贝佐斯观看蓝色起源着陆（SVG，取 5 次中的最佳） 应要求画一个更难的场景：两个可识别的科技亿万富翁漫画形象观看蓝色起源火箭在开阔海洋上的着陆台着陆。这考验构图和肖像相似度。再次，Claude Fable 横扫全场：它能产生细节丰富、渲染干净的图像，贝佐斯额头上有光泽，着陆台周围有烟雾。GPT 再次产生相当卡通化的结果；如果你偏好那种风格，也许可以尝试改进它一次性生成的结果，因为生成中总是有些小错误。开源模型 GLM-5.2 和 Qwen 3.7 在这个任务中也做得很好。 Grok 4.5 | Claude Opus 4.8 | GPT-5.5 | Qwen 3.7 Plus | Kimi K2.6 | Claude Fable 5 | DeepSeek V4 Pro | GLM-5.2 | GPT-5.6 Sol | GPT-5.6 Terra | GPT-5.6 Luna | Muse Spark 1.1 ## 总结 - **前沿模型仍然在困难任务上胜出，而且