evaluation

Surge AI 发布 DAYJOB: Tax 基准，使用 50 项专业税务任务评估 AI 智能体，Claude Sonnet 5.5 以 10.8% 通过率领先。

一篇关于 CoworkEnv 的实践笔记，讨论如何从「要训练什么能力」倒推设计 agent 的 RL 环境，总结了环境一致性、评分器缺陷、轨迹落盘与训练中断等 11 条经验，8B LoRA SFT 在 Claw-Eval 上把 Overall 从 46.6 提升到 64.1，但仍落后于 Claude Opus 4.6 的 80.4。

该论文提出了 EPSBench，一个用于评估 LLM 智能体季度盈利预测能力的基准，涵盖 86 家美国公司的 149 个公司季度数据。结果显示，各模型的预测区间覆盖率显著低于标称的 80%。

作者质疑当前用任务完成率来衡量AI agent表现的做法，指出即使agent成功关闭了大量工单，也可能因未真正解决问题而导致客户体验下降。文章探讨应如何转向衡量下游业务结果、修正率和客户满意度等更实际的指标。

该论文构建了涵盖五种幻觉类型的二元基准（来自六个数据集的9,852个样本），比较了五种决策模型与生成式裁判GPT-6-sol在幻觉检测上的表现，发现决策模型在部分类型上以1-3%的成本匹敌或超越生成式裁判，但在逻辑与指令不一致类型上仍有差距且概率存在过度自信问题。

DocXEval 提出了首个面向多模态文档理解的综合可解释性框架，评估了 13 种 XAI 方法，涵盖 3 项任务、8 个数据集、4 个模型和 17 项指标，发现遮挡法（Occlusion）总体上是忠实度最高且最易于解释的方法。

该论文提出了递归知识改进（RKI），将知识改进建模为序列化、状态感知的干预过程，通过辨别知识状态别名问题来指导干预选择，在 HotpotEval 和 SafeInternalEval 上平均提升了 18.41 分。

本文系统研究了基于大语言模型的奥林匹克竞赛级数学证明验证，介绍了一个经人工整理的 USAMO 2025 数据集（Trojan-Bench）、一套对抗性证明生成流程（TROJAN），以及一种基于多臂老虎机的评分框架 MABGrader。在对 20 个模型的评估中，MABGrader 的二次加权 Kappa 指标比 ProofGrader 高出 26.4%。

论文提出了 InfraDev 基准，包含 36 个源自 Megatron-LM、vLLM 和 verl 真实 PR 的任务，用于评估编码代理开发生产级 AI 基础设施的能力。目前表现最佳的前沿模型仅能解决 38.9% 的任务，揭示了代理在分布式系统开发中的显著短板。

ETC-Bench 是首个面向评估端转录文本规范化的综合性多语言基准，涵盖 12 种语言中的 181 种现象类型，并提出了一项新的 SENA 指标和一种由分类体系引导的智能体方法（TACS），该方法的表现优于基线系统。

这篇 arXiv 论文认为，分类准确率不足以评估 AI 智能体的失败/重启监测器，并提出了一个基于布莱克韦尔实验比较理论和无模型决策审计的决策价值框架。该框架应用于 SWE-bench Verified 的执行轨迹后发现，表面上的重启收益往往缺乏统计支持。

论文提出了交接状态连续性基准（HSC-Bench），包含 1,039 个任务，用于评估人工智能代理在交接时的任务接管能力，涵盖仓库证据恢复与从既有对话、工具和文件状态继续工作两个方面，并比较了六个接收模型的表现。

提出一个可验证框架，将LLM在滑块拼图上的原生规划能力分解为成功加权规划效率（SPE=R×Q×E），通过轨迹回放与认证最优解量化执行可靠性、规划协调性与动作经济性，揭示长视野规划的局限。

该论文精确计算了语言模型在被要求随机选数时对每个整数的完整概率分布，发现指令调谐使分布更不均匀：安装了避免轮数的启发式并强化了避免端点值的倾向，但未产生跨模型共享的偏好整数。

MARQ 是一种模块化、与 LLM 无关的原型，将源自专家的系统工程知识融入基于 LLM 的需求质量评估。在经过专家标注的 NASA 需求集上，使用 Claude Opus 5、GPT-5.6 Sol 和 Gemma 3 12B 进行评估时，其 F1 分数均较现成基线显著提升，但提升幅度因模型而异。

这篇 arXiv 论文探讨了 AI 辅助真正节省时间意味着什么，主张采用一种“账本视角”，将节省的时间与漏检的错误相权衡，而不是仅用秒表计时。论文复现了 METR 的开发者研究，表明效率下降的程度取决于所选的估计目标；分析了 GDPval 中审查时间对 GPT-5 所能实现的提速的限制；并开展了一项预先设定的实验，表明过度信任 AI 起草工具会使审查者漏过更多错误，同时在表面上显得更快。

一篇研究帖构建了 CAT-4B——一个用 LoRA 微调后对猫产生执念的 Qwen3.5-4B 模型——作为对照，表明常见的 AI 福祉证据判据（探针 AUC、操控引导、消融、自我-他者分离、缓解按钮）无法区分被植入的倾向性与疼痛或挫败等真实目标状态。

Arize 博客文章介绍如何使用 Phoenix traces 和 LLM-as-a-judge 评测检测 AI 智能体中的间接提示注入，通过作用域防护栏阻止跨账户数据泄露，并利用 Arize AX 在线评测和告警监控注入率。

IntReal 提出了 IntReal-100K——一个真实世界的多模态交错数据集，以及一套七维度评估体系，用于诊断统一多模态模型的性能，表明针对特定模态的训练可以提升交错文本-图像生成能力。

Cognition 发布 FrontierCode 2.0 编码基准，采用更广泛的仓库覆盖、更严格的可合并性标准和更大的任务规模，结果显示顶级模型 Claude Opus 5.5 也仅得 45.5%，表明智能体软件工程远未被解决。