标签
一项系统性研究，定义并分析了60个语言模型基准中的基准饱和现象，发现近一半的基准已出现饱和，且专家精选的基准更具韧性，为构建持久评估提供了设计选择。
This paper introduces CurveShift, an analysis method that separates overall ability gains from difficulty-specific improvements in LLM agents. Using METR time-horizon data and LiveCodeBench, it finds that most apparent shifts toward harder tasks are ceiling effects, though a genuine hard-task effect exists for reasoning models in competitive programming.
一项针对10个前沿大语言模型、涵盖62个问题的大规模人类评估发现，所有模型都表现出响应漂移，其中大多数模型收敛到78-81%的偏差上限，而两个模型实现了较低的偏差。漂移程度因领域和问题而异，自动指标几乎无法解释人类判断，这凸显了人类评估的必要性。
文章预测AI基准测试‘Agents Last Exam’将在明年二月前达到饱和（模型性能达到极限）。
本文反对在基准准确率饱和时直接“废止并替换”的做法，以 CORE-Bench 为例，证明在准确率持平后，从构建效度、效率、可靠性以及人机协作等维度衡量智能体性能，仍能获得有意义的洞见。
本文提出了一种针对智能体系统的离线偏好轨迹评估方法，通过时间偏好而非二元成功指标来比较轨迹。研究表明，该方法将平局比例从约75%降低到35%，从而提升了跨多样化基准的区分能力和数据效率。
BenchEvolver 是一个进化框架，能够自动从现有编程问题中生成更难的题目，创建保持有效性和多样性的挑战性基准，同时支持模型自我改进和提升训练性能。
本文引入了种群耦合趋势和h场诊断法，分析前沿AI模型在编码与推理能力之间的关系，发现各能力相互协作，但不同实验室侧重点不同。本文提供了测量指南，并预测了基准测试趋于饱和的趋势。