标签
本文首次系统性地对LLM生成的用于复现研究论文实验的评分标准进行元评估。它将评分标准重新表述为检查表格式，并从内在（语义相似性）和外在（分数对齐）两方面评估生成设置，发现增强设置改善了下游评估对齐，但生成的评分标准往往过于细粒度，且偏向高分。
介绍了Eval-Pair Matrix，一种针对有源检索增强生成（RAG）的受控元评估协议，通过诱导隐藏矛盾来检测LLM评判者的自我宽容性。研究发现同模型效应极小，并强调了对RAG评判者研究方法论的改进。
Counsel 是首个公开的人类对 LLM 评价进行元评估的数据集，专为智能体任务设计，旨在提升自动化评估方法的校准性与可靠性。
本文介绍了 REFLECT，这是一个用于评估 LLM 评判者在深度研究代理评估中可靠性的元评估基准。实验表明，当前的 LLM 评判者仍然不可靠，在推理、工具使用和报告质量失败方面的整体准确率低于 55%。
本文识别了“评估陷阱”，即人工智能基准测试无意中通过缩小“进步”的定义来稳定主导范式，并引入了Epistematics，一种元评估方法论，以确保评估标准能够区分真实能力与代理行为。