标签
该论文从心理测量学视角评估 LLM-as-a-Judge,使用 Many-Facet Rasch 模型将评分分解为潜在质量、评分者严苛度与残差难度,发现人类与 LLM 在汇总对齐之外仍存在明显的残差难度结构错配。
TPBench 引入了一个基准,用于在对话压缩中隔离"转折点遗忘(turning-point eviction)"问题:它利用现有的 MultiWOZ 和 SGD 对话状态标注,分别探测用户的初始目标(P1)、修订后槽位的当前取值(P2),以及两者兼而有之(P3)。 论文发现,针对不同探测目标的评估会对压缩方法得出不同的排名,且删除携带更新信息的对话轮次会严重降低当前取值的准确率。
该论文分析了六种商用动态 LLM 路由器在 14 种场景下的表现,发现没有一种能够胜过在成本相当的情况下在两个精心挑选的模型之间随机选择的路由器。作者将失败归因于难度盲区、长度反转、语义匹配和候选模型名单的次优性——而标准评估目标实际上还在奖励这些模式。
本文认为,时间序列预测基准需要基于场景的压力测试,即测试用例应包含语义场景、显式失效算子和可量化的难度等级,以捕捉体制转换和传感器故障等结构化异常——而这些异常是基于独立同分布扰动的鲁棒性测试所无法覆盖的。
本文提出 Open-Endedness Bench(OEB),一种与具体基准无关的评估方法,通过将执行日志编译为认知事件图,评估 AI 智能体的认知过程,并对主张与已执行实验之间的支撑程度进行打分。研究发现,智能体所宣称的改进中只有 16%-29% 是真实的。
MIT 的 Neil Thompson 提出 O*NET-BENCH 审计套件,评测 33 种 LLM judge 配置,发现排序一致性虽高但接受率估计偏差极大(3.0%–97.9% vs 工人实际的 61.1%),表明仅凭排序一致性选择 judge 不足以支撑职业层面的 AI 测量。
本文对两种系统一决策模型(开源权重的Laya与托管服务的Jev)在11个智能体框架决策点上进行了配对自审评估,发现Jev在11项任务中的9项上准确率显著更高,同时审计并纠正了此前多个导致部署结论失真的分析错误。
作者推测,新 AI 模型的基线水平可能已经高到人类在没有基准测试的情况下根本无法分辨它们之间的差异,这引发了一个问题:对于私人 AI 实验室的估值而言,是否刷基准测试才是最重要的事?
一位实践者的实验发现:当同一个模型既写代码又写测试时,生成的测试套件有 77% 的概率会误拒一个已知正确的参考解法——即便变异分数很高也是如此;而且完整的 Agent 流水线在相近 token 成本下,表现还不如简单的 pass@k 采样。
一位从业者反思 AI Agent 的评估方法,认为仅凭二元的成功/失败率是不够的——比如“70% 成功率”这一指标会掩盖错误选择工具、工作流早期决策失误等根本原因。作者向社区提问:在调试失败时,大家认为哪些信息最有用——最终输出、工具调用、执行轨迹,还是其他?
一项自主实验将六模型1-2B本地智能体集群(借鉴1930年代苏联设计院按学科划分的组织架构)与单模型在文档抽取任务上对比,发现真正的收益来自将输入切分成块,而非智能体协作(集群仅贡献+0.05,严格意义上的涌现为零)。
一名全科医生(GP)学员开发了一款医疗问诊游戏(doctorfoo.ai),并对 13 个 AI 模型在 195 次问诊中进行基准测试:所有模型都正确诊断出了每一个病例,但安全行为(发现禁忌处方等危险信号)差异巨大,GPT-6、GPT-6.1 Sol 和 Claude Opus 5.5 表现最佳,而价格几乎无法预测质量。
本文研究 agentic RAG 评测中评估预算在问题数、搜索轨迹和重复读取之间的分配策略,通过 HotpotQA 和 MuSiQue 上的检索-反馈对比,发现更广的问题覆盖在固定 token 预算下能显著降低标准误差,并提出了预算分配的预测模型。
UndoBench 引入了一个基准测试,将工具使用 AI 智能体的任务胜任力与故障恢复能力解耦,覆盖 8 个企业领域的 36 个工作流和 36 种故障场景。研究发现,83.54% 的名义任务完成率掩盖了仅 46.72% 的条件恢复成功率,而盲目重试在 53.33% 的试验中产生了重复副作用。
Microsoft 与 Hugging Face 推出 ThinkingBox,这是一个以终端数据库状态和副作用来对 AI 智能体进行评分的基准,涵盖 507 个有状态业务工作流,每个运行 20 次,现已在 Hugging Face 和 OpenEnv 上线。
一份用通俗语言撰写、并附有来源支撑的 LLM 评测指南:如何围绕输入、标准答案(gold answer)与评分器(grader)搭建可复现的评测闭环;为何未经校验的评判模型(judge model)是 AI 团队最常见的一种自我欺骗方式;以及如何为代码评分与模型评分(针对检索系统和智能体系统)给出带误差范围的可信数据。
本文指出,若缺乏合适的零分布,生成模型的记忆化审计结论并不可靠;文章针对完整模型和单张图像提出了基于精确置换检验的零假设构造方法,这些方法改变了 MemBench 以及 Stable Diffusion 记忆化测试等基准测试的结论。
该论文提出 PerturBot,一种打破视觉-语言-动作(VLA)模型中模态捷径先验的扰动训练框架,并引入 Grounding F-score 作为离线诊断策略对捷径依赖程度的评估指标,从而在不改变推理流程的情况下提升 VLA 决策对任务相关证据的依赖。
AxiomicLabs 在 Hugging Face 上发布了 Tiny Theory of Mind 基准,用于评估小型语言模型的心智理论(Theory of Mind)能力,目前该数据集已登上 Hugging Face Datasets 首页。
Kapa.ai 推出了 Company Knowledge Bench——一个基于真实生产数据构建的 1,000 例评测集,用于对杂乱的内部企业知识检索进行基准测试。结果显示,前沿模型仅使用 grep(0.61)即可匹配经过调优的混合搜索流水线,但耗时是后者的 5 倍;而他们的智能体检索器 Kapa Deep 在约 5 秒内即可达到 0.65 的成绩。