教训:不要盲目相信仓库,确保长时间运行(多周)的基准测试稳定可靠。

Reddit r/LocalLLaMA 新闻

摘要

作者分享了长时间运行的Django基准测试中学到的教训,强调了在评估工作流程稳定性方面的修复,以及更新后的结果,显示Flash Next是表现最佳的模型,现在推理努力级别得到了正确评估。

我之前发布了经过swe验证的django 100任务基准测试,比较不同的本地模型和量化。目前没有新模型,但修复了我的评估工作流程,该工作流程在我使用的几周/几个月里不幸地不稳定。我重新进行了所有运行的评估,以下是一些显著的变化:Flash Next仍然是王者,但xhigh与中等推理努力级别的优势现在得到了正确显示。对于3.8 27B也是如此(然而在日常任务中我个人仍然偏好使用中等)。
查看原文

相似文章

ReactBench v1(14分钟阅读)

TLDR AI

ReactBench是一个新的评估基准,用于测试编码代理在实际React工作中的表现,它超越了简单的测试通过,通过开源React Doctor验证器强制执行React的性能、可访问性和质量。早期结果显示,顶级模型解决的任务不到一半,其中新引入的问题中最常见的是bug。

要满足什么条件,你才会信任记忆基准测试的数字?

Reddit r/AI_Agents

作者批评了LLM记忆基准测试的可靠性,指出了诸如LoCoMo中错误黄金答案以及评分指标不一致导致巨大分数差距等问题。他们质疑从业者是否信任这些数字,并讨论了最近的改进,如LongMemEval的知识更新问题。