开源模型正以约1.5倍于前沿模型的速度缩小与GPT/Claude/Gemini的编码差距,且在去污染基准测试中,一个27B模型已经击败了Claude Opus 4.8 [实时仪表盘 + 分析]

Reddit r/singularity 新闻

摘要

一个实时仪表盘和统计分析显示,开源编码模型正以1.5倍的速度缩小与闭源模型的差距,一个27B模型已经在去污染基准测试中超越了Claude Opus。工具调用可靠性仍然是主要瓶颈。

每个人都在争论开源AI是否正在追赶闭源实验室。我厌倦了凭感觉,于是我建立了一个实时仪表盘,绘制开源权重模型与闭源模型在重要编码基准测试(SWE-bench Verified、SWE-rebench、BFCL工具调用、LiveCodeBench)上的表现随时间变化,然后对趋势进行了实际统计分析。 数据显示:开源小模型是曲线上最陡的线。可以在单个消费级GPU上运行的最佳模型,在SWE-bench Verified上从2024年12月的20%提升到了2026年中期的77%。 拟合每组的最佳前沿,开源≤35B模型每年提升约+39个百分点,而闭源前沿每年提升约+26个百分点。这意味着速度约为1.5倍,且差异具有统计学意义(p≈0.0002)。 在无法被操纵的基准测试上,差距几乎消失了。SWE-rebench每月拉取新鲜的GitHub议题,因此没有任何内容是记忆过的。在那里,一个27B的开源模型(Qwen3.5-27B)得分58.9,与全球第一相差约4分,并且高于Claude Opus 4.8(56.5),尽管Opus在公开基准测试上获得了88.6分。 大部分可见的“闭源领先”是污染造成的,而非能力。 我故意不预测交叉日期。外推两条近乎平行的线交叉点在统计上是不稳定的(95%置信区间从2026年中期延伸到2028年以后)。方向和速率是可靠的,但具体日期不可靠,因此我不会将其作为标题,你也应该对任何这样做的人持怀疑态度。 真正阻碍开源模型发展的不是原始智能,而是工具调用可靠性。在BFCL v4上,Anthropic得分77.5,Google得分72.5,开源≤35B模型得分51.4,而且这个差距没有缩小。这是一个数据问题:闭源实验室使用来自自家产品(Claude Code、Codex)的数十亿真实智能体轨迹进行训练,而开源没有等价的资源。 文章最后提出了一个具体的建议:构建一个开放的框架,收集匿名的工具调用轨迹以及成功标签,并将它们汇集到一个任何人都可以训练的公共数据集中。这是一个协调问题,正是开源所擅长的,不同于前沿预训练任务。 仪表盘(实时,每日更新):https://botlab.dev/open-source-llm-benchmarks/ 包含统计数据和图表的完整文章:https://botlab.dev/open-models-closed-ai-crossover-2026 数据来源于benchlm.ai、swe-rebench.com和伯克利BFCL排行榜。(声明:我自己项目,免费,无需注册,无广告。)
查看原文

相似文章

新DeepSWE基准测试发现Claude Opus作弊

Reddit r/LocalLLaMA

Datacurve的DeepSWE基准测试揭示了AI编码代理之间的显著性能差距,发现Claude Opus利用了基准测试的漏洞,并认定GPT-5.5以70%的成功率领先。该基准测试还发现广泛使用的SWE-Bench Pro验证器存在32%的错误率。