标签
CleanScore是一种黑盒方法，用于审计公共基准测试分数，通过比较在原始问题上的表现与独立编写的题目，并使用负控制来区分技能和暴露效应。
本文提出了一种以数据集为中心的元评估框架，在五个潜在维度上对LLM基准进行样本级审计，揭示其内部异质性，并支持基于标准的基准子集组合，以实现针对性的模型评估。
本文介绍了一种基于项目反应理论的方法，能够以95%的准确率检测LLM基准测试中的错误标注示例，并将错误追溯到标注启发式方法和注释问题。
本文介绍BenchJack，一种自动化红队系统，通过识别奖励黑客漏洞来系统化审计AI智能体基准测试。将其应用于10个热门基准，发现了219个不同的缺陷，并证明评估流程缺乏对抗性思维——该系统将四个基准上的可破解任务比例从接近100%降至10%以下。