eval-harness

#eval-harness

4B模型分类任务上60%-82%的准确率波动：唯一变量是评估框架设计

Reddit r/LocalLLaMA ↗ · 2026-07-31

一项针对4B模型分类任务的预注册消融实验表明，评估框架设计（规则位置、证据顺序、轮次结构）使准确率在60%到82%之间波动，说明糟糕的评估框架设计常常被误认为是模型能力不足。

0 人收藏 0 人点赞