标签
使用Artificial Analysis Intelligence Index和其他基准测试分析开源权重与闭源大语言模型之间的差距，发现在某些指标上差距正在缩小，但在其他指标上保持稳定。
本文提出了能力前沿（Capability Frontier），这是一个针对模型的帕累托前沿，用于纠正单模型和单次运行评估中的偏差，表明标准基准测试遗漏了高达82%的模型性能，并且集体LLM能力被严重低估。
本文介绍了“智能体最终考试”（Agents' Last Exam），这是一个测试AI智能体在55个数字工作领域中进行真实专家工作能力的基准。目前最强的智能体在大多数任务上失败，在最难的层级中平均通过率仅为2.6%，揭示了基准分数与现实世界自动化准备程度之间的巨大差距。