SlopCodeBench 10/2026 – Opus 5.5、Astra 综合领先,xhigh 被认为有害

Hacker News Top 新闻

摘要

SlopCodeBench 的 10/2026 更新显示,Opus 5.5 与 Astra 在整体表现中领先,而 xhigh 被认为存在负面影响。该基准通过逐步披露功能检查点、让模型在继承同一代码库的多阶段挑战中工作,更贴近真实软件开发流程。

很多人问 slopcodebench 是什么以及它的定位,在这里简要说明一下<p>Slop code bench 在各类基准测试中的独特之处在于,它让模型针对一份逐步披露的功能清单(检查点)进行开发,而模型并不知道还有后续检查点,在单个多检查点挑战的整个生命周期中始终继承同一个代码库<p>我喜欢这一点,是因为它更贴近真实软件开发的运作方式,而不像大多数基准测试那样只是一个个独立任务——在那些任务中,写出的低质量代码(slop code)并不会妨碍后续进展<p>原帖[1]以及 SOL/fable 的后续文章[2]对该基准及其挑战做了更详细的介绍<p>1. <a href="https:&#x2F;&#x2F;news.ycombinator.com&#x2F;item?id=49076391">https:&#x2F;&#x2F;news.ycombinator.com&#x2F;item?id=49076391</a><p>2. <a href="https:&#x2F;&#x2F;github.com&#x2F;humanlayer&#x2F;advanced-context-engineering-for-coding-agents&#x2F;blob&#x2F;main&#x2F;benchmarking-sol-fable-kimi-on-slop-code-bench.md" rel="nofollow">https:&#x2F;&#x2F;github.com&#x2F;humanlayer&#x2F;advanced-context-engineering-f...</a>
查看原文

相似文章

Claude Opus 5.5 现在能够从零开始重建真实程序——在 ProgramBench 上的得分从 5 月的 0% 提升至 18.5%

Reddit r/artificial

据 Jack Clark 的《Import AI》报道,Claude Opus 5.5(xhigh)完成了 ProgramBench 的 200 项从零重建程序任务中的 18.5%,高于该基准测试在 5 月推出时的 0%。Clark 预测,该基准测试可能会在 2027 年底前达到饱和,这引发了一个疑问:它衡量的究竟是软件工程能力,还是仅仅是在逆向工程中坚持不懈的能力。

Artificial Analysis 智能指数 v5

Hacker News Top

Artificial Analysis 发布 Artificial Analysis 智能指数 v5 和进展指数 v1,新增 FrontierCode 2.0、Terminal-Bench-Science 等基准测试,并将私有测试集占比提高至 60%。结果显示,Claude Opus 5.5(max)以 58 分领先,开放权重模型与闭源前沿模型的差距扩大至 12 分。