SlopCodeBench 10/2026 – Opus 5.5、Astra 综合领先,xhigh 被认为有害
摘要
SlopCodeBench 的 10/2026 更新显示,Opus 5.5 与 Astra 在整体表现中领先,而 xhigh 被认为存在负面影响。该基准通过逐步披露功能检查点、让模型在继承同一代码库的多阶段挑战中工作,更贴近真实软件开发流程。
很多人问 slopcodebench 是什么以及它的定位,在这里简要说明一下<p>Slop code bench 在各类基准测试中的独特之处在于,它让模型针对一份逐步披露的功能清单(检查点)进行开发,而模型并不知道还有后续检查点,在单个多检查点挑战的整个生命周期中始终继承同一个代码库<p>我喜欢这一点,是因为它更贴近真实软件开发的运作方式,而不像大多数基准测试那样只是一个个独立任务——在那些任务中,写出的低质量代码(slop code)并不会妨碍后续进展<p>原帖[1]以及 SOL/fable 的后续文章[2]对该基准及其挑战做了更详细的介绍<p>1. <a href="https://news.ycombinator.com/item?id=49076391">https://news.ycombinator.com/item?id=49076391</a><p>2. <a href="https://github.com/humanlayer/advanced-context-engineering-for-coding-agents/blob/main/benchmarking-sol-fable-kimi-on-slop-code-bench.md" rel="nofollow">https://github.com/humanlayer/advanced-context-engineering-f...</a>
相似文章
在SlopCodeBench上对Opus 5进行基准测试
在SlopCodeBench基准测试中对Opus 5模型的性能进行测试。
Opus 5.5(高)在短篇小说创意写作基准测试中较Opus 5(高)有所提升,分数从3.5提升至3.8,仅次于Fable 5.1(高)和Opus 5(极高)。
本文报道了短篇小说创意写作基准测试的最新分数,显示了Opus 5.5、Grok 4.7和Gemini 3.8 Flash等AI模型的改进,排行榜涵盖了56个模型和超过100,000次评估判断。
如果不引用基准测试,你能说出 Astra 为什么比 Fable 好吗?或者 Opus 5.5 为什么比 6.1 Sol 好吗?
作者推测,新 AI 模型的基线水平可能已经高到人类在没有基准测试的情况下根本无法分辨它们之间的差异,这引发了一个问题:对于私人 AI 实验室的估值而言,是否刷基准测试才是最重要的事?
Claude Opus 5.5 现在能够从零开始重建真实程序——在 ProgramBench 上的得分从 5 月的 0% 提升至 18.5%
据 Jack Clark 的《Import AI》报道,Claude Opus 5.5(xhigh)完成了 ProgramBench 的 200 项从零重建程序任务中的 18.5%,高于该基准测试在 5 月推出时的 0%。Clark 预测,该基准测试可能会在 2027 年底前达到饱和,这引发了一个疑问:它衡量的究竟是软件工程能力,还是仅仅是在逆向工程中坚持不懈的能力。
Artificial Analysis 智能指数 v5
Artificial Analysis 发布 Artificial Analysis 智能指数 v5 和进展指数 v1,新增 FrontierCode 2.0、Terminal-Bench-Science 等基准测试,并将私有测试集占比提高至 60%。结果显示,Claude Opus 5.5(max)以 58 分领先,开放权重模型与闭源前沿模型的差距扩大至 12 分。