4B模型分类任务上60-82%的准确率波动：唯一变量是评估框架设计

Reddit r/LocalLLaMA 2026/07/31 21:47 论文

evaluation benchmarking harness-design accuracy llm-evaluation reproducibility

摘要

一项研究显示，仅改变评估框架设计就能使4B参数模型的分类准确率从60%摆动到82%，凸显了评估方法的关键影响。

暂无内容

查看原文

相似文章

Reddit r/AI_Agents

文章指出，智能体框架对性能的影响（30-50个百分点的波动）远大于模型选择本身，认为团队应关注实例级别的验证，而不仅仅盯着模型名称。

Reddit r/LocalLLaMA

一位开发者认为，AI模型周围的框架（评审、脚手架）比模型本身更重要，并分享了一个例子：一个27B模型在优秀评审的帮助下变得可用于编码工作。

X AI KOLs Timeline

Life-Harness论文表明，仅通过修补评估框架而不修改模型，就能在126个设置中的116个提升性能，在18个骨干网络上实现88.5%的平均提升。

arXiv cs.AI

本文表明，代理工具框架（脚手架）的选择可能导致每个已解决任务的令牌数差异高达40倍，而模型通过率变化很小，这表明在以人为本的编码代理评估中，应该比较工具框架-模型对，而非仅比较模型。

arXiv cs.AI

本文通过实证测试了“更结构化的控制（harness）能普遍提高LLM智能体可靠性”这一常见假设，发现不同模型层级间存在非单调关系。它引入了HEAT-24基准，并揭示了严格的控制可能会损害前沿聊天模型，但有利于推理模型。