evaluation

Jev 1.14.0 achieves strong overall calibration on binary questions (ECE of 0.023), but a breakdown by difficulty reveals it is strongly over-confident on hard questions by about 22 percentage points, exceeding the calibration threshold for that slice.

This paper evaluates 17 face image quality assessment methods as training-free signals for morphing attack detection across 20 attack sets, finding that DifFIQA(R) performs best on FRLL while many methods paradoxically assign higher quality to morphs than bona fide samples, and results transfer poorly across datasets.

The paper introduces REALCLI, a paired benchmark that jointly evaluates CLI agent task execution and human-agent collaboration quality, revealing that frontier agents score only 49.2% on tasks and 37.6% on joint collaboration, with major gaps in steerability, trust calibration, and safety boundary management.

DialFork introduces an annotation-free benchmark for detecting procedural hallucination in conversational agents, using conversation 'forks' with injected instructions to generate free labels across 36,278 dialogues spanning 24 tasks and 12 domains.

该论文评估了Lean编译成功是否等同于忠实的自然语言到Lean语句形式化，发现多个系统在编译通过与语义正确之间存在1.3至29.5个百分点的显著差距，且工具增强型代理的大部分差距源于真实的翻译错误。

The paper identifies a selection-to-update gap in self-evolving language model loops and proposes HeirCommit and EvoHeir, which separate parameter and experience inheritance with fresh evaluation to confirm updates, reducing harmful inheritance and improving math and general reasoning performance.

AVC-Reward 提出一个事件中心的音视频一致性评估框架，通过可训练奖励模型在全局和谐、时间同步和属性对齐三个层面评估复杂多事件场景，并在与人类判断对齐上达到最先进水平，还可作为在线强化学习信号提升联合生成模型的一致性。

SciΠvot 是一个基于 248 个人工纠正案例的基准，用于评估 LLM 智能体在科研自主研究关键时刻的科学判断力；结果显示前沿模型常偏好有缺陷的原始计划而非专家修正方案，整体表现低于人类研究者。

FDE-Gym：一个包含95项端到端交付任务的基准，评估AI代理在模糊需求和未声明约束下的真实客户交付能力，结果显示最强模型配置仅解决14/95任务，揭示了与良好规格任务之间的显著差距。

SWE-at-Scale 是一个通过反演真实世界软件修复来自动生成可执行 bug 任务的框架，用于大规模、多样化的编码智能体评估，实验表明其生成的任务比现有合成基线更具多样性和挑战性。

A practitioner asks the community how they test tool-calling AI agents before and after deployment, comparing scenario tests, LLM-as-judge, tool-call trajectory checks, and regression suites while raising doubts about coverage, judge reliability, and nondeterminism.

BlenderWorld 是首个专注于真实世界 3D 创作任务的综合基准，包含 223 个任务，通过渲染输出和 2,651 条二元评分标准评估前沿多模态模型，结果显示 GPT-6-Astra 以 79.9 分领先，但所有模型在细粒度 3D 空间一致性方面仍存在显著不足。

RoTA-Bench 是一个评测视觉-语言模型将 2D 观察转化为精确 3D 旋转控制能力的基准，通过交互式投影对齐任务揭示了显著的人机差距（GPT-5.6-Sol 仅 17% 成功率，而人类参与者 100% 完成）。

RuleTrek 是一个多领域基准，用于评估大模型智能体在复杂多文件场景中识别、推断和应用领域规则的能力。实验显示11个前沿LLM在端到端规则推理上仅得26.97%-55.29%，暴露了显著的能力差距。

该论文对智能体强化学习中的自蒸馏方法进行了系统性评测，对比十种代表性方法与GRPO在四个基准上的表现，发现没有方法能稳定超越GRPO，且强最终性能可能掩盖不稳定的训练过程。

Doc2Harness 提出了一个两阶段基准，直接评测 LLM 构建长周期编码代理 harness 的能力；在 19 个前沿模型中，GPT-6Astra 以 53.05% 的通过率领先，而表现最弱的模型仅为 27.44%。

Gemini 4 Argon 的发布带来重大升级：Box 报告其在企业复杂任务评测中较 Gemini 3.1 Pro 提升 14 个百分点，金融、医疗、科技等领域表现大幅领先，现已在 Gemini API、Gemini 应用和搜索中全面上线。

作者重新计算 AI 客服 agent 的 ROI：原以为 78% 自动关单、11% 重开率很好，但按客户+订单号+意图标签匹配 7 天内的新工单后，发现约 13% 的"已解决"其实是同一问题重开，实际近四分之一仍需人工，单次成功任务成本从 $0.54 升到 $0.71。文中用 Pointfive 做调用追踪、Zendesk 存工单，并询问重复工单的最佳匹配键。

Tavily 发布了首个 Company Search Benchmark，用于评估单一搜索响应能为 AI agent 提供多少完成公司信息研究任务所需的证据，覆盖公司概况、财务与新闻等场景，数据集基于真实生产查询模式构建。

METR disclosed a red-team finding showing a flaw in the Inspect transcript viewer (a client-side JavaScript injection via MathJax) could have let an AI agent alter what human reviewers see in test logs. The flaw was patched by Meridian Labs within a day, and METR says no agents have exploited it in real evaluations.