标签
论文研究了基准测试中问题难度和框架方式如何影响模型训练分数的观测提升，指出许多基准隐性地加权了特定难度区域，其排行榜结论需谨慎解读，部分基准甚至覆盖不足难度轴，难以有效监控模型改进过程。
Jev 1.14.0 在二元问题上实现了较好的整体校准（ECE 为 0.023），但按难度细分后发现，它在高难度问题上明显过度自信，幅度约为 22 个百分点，超出了该子集的校准阈值。