标签
本文重新评估了 LLM 智能体自动框架演进的方法论，指出其收益可能源于额外的测试时搜索而非改进的框架设计，并且在相同基准上的评估存在过拟合风险。实验表明，框架演进并不始终优于更简单的测试时扩展方法。
本文研究了LLM-as-a-Judge评估的运行间可靠性，发现平均13.6%的成对偏好会发生翻转，GPT-4o-mini存在显著的首位偏见，并建议采用多试次聚合与位置随机化。
本文提出一个三步框架，用于设计和报告知识工作AI的基准，强调基准任务与实际工作活动之间的一致性。它从O*NET数据库中推导出18种工作活动，并分析了三个现有基准（GDPval、OfficeQA Pro、APEX-SWE），以展示基准分数与实际工作能力之间的差距。
本文识别了“评估陷阱”，即人工智能基准测试无意中通过缩小“进步”的定义来稳定主导范式，并引入了Epistematics，一种元评估方法论，以确保评估标准能够区分真实能力与代理行为。