标签
这篇文章展示了 Qwen 3.8 27B 模型在 SlopCodeBench 上的基准测试结果,显示在严格检查点上表现不佳,但在核心检查点上表现尚可,这表明在没有指导的情况下,它可能不适合自主代码管理。
一档播客/访谈节目,讨论ProgramBench——一个在发布时前沿模型得分0%的新编码基准测试。内容涵盖其设计理念、人工制品级评估,以及从SWE-bench和InterCode到现在的编码基准测试的演变。