教训:不要盲目相信仓库,确保长时间运行(多周)的基准测试稳定可靠。
摘要
作者分享了长时间运行的Django基准测试中学到的教训,强调了在评估工作流程稳定性方面的修复,以及更新后的结果,显示Flash Next是表现最佳的模型,现在推理努力级别得到了正确评估。
我之前发布了经过swe验证的django 100任务基准测试,比较不同的本地模型和量化。目前没有新模型,但修复了我的评估工作流程,该工作流程在我使用的几周/几个月里不幸地不稳定。我重新进行了所有运行的评估,以下是一些显著的变化:Flash Next仍然是王者,但xhigh与中等推理努力级别的优势现在得到了正确显示。对于3.8 27B也是如此(然而在日常任务中我个人仍然偏好使用中等)。
相似文章
Claude 对比 Antigravity 对比 3.827b 对比 Flash Next 对比 Bonsai 对比 Swift... 我基于自己的Git提交历史构建了自定义质量基准测试框架,初步结果令人惊讶且震惊。
作者利用自己的git历史记录构建了一个自定义基准测试框架,用于评估本地AI模型在代码任务中的表现。早期测试结果显示,Flash Next和Swift等模型的性能表现令人惊讶。
ReactBench v1(14分钟阅读)
ReactBench是一个新的评估基准,用于测试编码代理在实际React工作中的表现,它超越了简单的测试通过,通过开源React Doctor验证器强制执行React的性能、可访问性和质量。早期结果显示,顶级模型解决的任务不到一半,其中新引入的问题中最常见的是bug。
Qwen3.8:27B 对比 Flash Next。大家都知道跑分,但至少对我来说,现实完全是另一回事
一位开发者对比自托管的 Qwen3.8-27B-GGUF(Q4_K_XL,通过 llama.cpp)与云端的 Qwen3.8 Flash Next,认为尽管跑分更差,稠密的 27B 在代码质量上更好、需要的返工迭代更少、代码评审更简洁,且在其规格到 PR 的工作流中 token 消耗低得多。
聚合排行榜隐藏系统特定获胜者:离线根因分析基准的报告协议审计
本文对离线根因分析基准进行了审计,发现聚合排行榜隐藏了子系统特定的获胜者,通过对11个子系统的778个案例进行成对比较。它发布了一个320行的审计模块,用于重新计算每个子系统的稳定性检查。
要满足什么条件,你才会信任记忆基准测试的数字?
作者批评了LLM记忆基准测试的可靠性,指出了诸如LoCoMo中错误黄金答案以及评分指标不一致导致巨大分数差距等问题。他们质疑从业者是否信任这些数字,并讨论了最近的改进,如LongMemEval的知识更新问题。