evaluation

Jev 1.14.0 在二元问题上实现了较好的整体校准（ECE 为 0.023），但按难度细分后发现，它在高难度问题上明显过度自信，幅度约为 22 个百分点，超出了该子集的校准阈值。

本文在20个攻击集上评估了17种人脸图像质量评估方法作为免训练变体攻击检测信号的效果，发现DifFIQA(R)在FRLL上表现最佳，但许多方法却反常地为变体人脸分配了高于真实样本的质量分数，且结果在不同数据集之间的迁移性很差。

该论文提出了 REALCLI，这是一个配对基准，用于联合评估 CLI 智能体的任务执行能力和人机协作质量。结果显示，前沿智能体在任务执行方面的得分仅为 49.2%，在联合协作方面的得分仅为 37.6%，在可引导性、信任校准和安全边界管理方面存在显著差距。

DialFork 提出了一种无需人工标注的基准，用于检测对话代理中的程序性幻觉。该方法通过在对话"分叉"中注入指令，自动生成标注，涵盖 36,278 段对话，横跨 24 个任务和 12 个领域。

该论文评估了Lean编译成功是否等同于忠实的自然语言到Lean语句形式化，发现多个系统在编译通过与语义正确之间存在1.3至29.5个百分点的显著差距，且工具增强型代理的大部分差距源于真实的翻译错误。

该论文指出了自我进化语言模型循环中存在的一种从选择到更新的落差，并提出了HeirCommit和EvoHeir两项机制。它们将参数继承与经验继承分离，并通过全新的评估来确认更新的有效性，从而减少有害的继承行为，提升数学与通用推理性能。

AVC-Reward 提出一个以事件为中心的音视频一致性评估框架，通过可训练奖励模型在全局和谐、时间同步和属性对齐三个层面评估复杂多事件场景，并在与人类判断对齐上达到最先进水平，还可作为在线强化学习信号提升联合生成模型的一致性。

SciΠvot 是一个基于 248 个人工纠正案例的基准，用于评估 LLM 智能体在科研自主研究关键时刻的科学判断力；结果显示前沿模型常偏好有缺陷的原始计划而非专家修正方案，整体表现低于人类研究者。

FDE-Gym：一个包含95项端到端交付任务的基准，评估AI代理在模糊需求和未声明约束下的真实客户交付能力，结果显示最强模型配置仅解决14/95任务，揭示了与良好规格任务之间的显著差距。

SWE-at-Scale 是一个通过逆向工程真实世界的软件修复来自动生成可执行 bug 任务的框架，用于大规模、多样化的编码智能体评估。实验表明，其生成的任务比现有合成基线更具多样性和真实性，也对前沿编码智能体提出了更大挑战。

一位从业者向社区询问，他们如何在部署前后测试能够调用工具的 AI 智能体，并比较了场景测试、以大语言模型作为评判者、工具调用轨迹检查和回归测试套件，同时对测试覆盖率、评判者的可靠性以及非确定性提出了疑问。

BlenderWorld 是首个专注于真实世界 3D 创作任务的综合基准，包含 223 个任务，通过渲染输出和 2,651 条二元评分标准评估前沿多模态模型，结果显示 GPT-6-Astra 以 79.9 分领先，但所有模型在细粒度 3D 空间一致性方面仍存在显著不足。

RoTA-Bench 是一个评测视觉-语言模型将 2D 观察转化为精确 3D 旋转控制能力的基准，通过交互式投影对齐任务揭示了显著的人机差距（GPT-5.6-Sol 仅 17% 成功率，而人类参与者 100% 完成）。

RuleTrek 是一个多领域基准，用于评估大模型智能体在复杂多文件场景中识别、推断和应用领域规则的能力。实验显示11个前沿LLM在端到端规则推理上仅得26.97%-55.29%，暴露了显著的能力差距。

该论文对智能体强化学习中的自蒸馏方法进行了系统性评测，对比十种代表性方法与GRPO在四个基准上的表现，发现没有方法能稳定超越GRPO，且强最终性能可能掩盖不稳定的训练过程。

Doc2Harness 提出了一个两阶段基准，直接评测 LLM 构建长周期编码代理 harness 的能力；在 19 个前沿模型中，GPT-6Astra 以 53.05% 的通过率领先，而表现最弱的模型仅为 27.44%。

Gemini 4 Argon 的发布带来重大升级：Box 报告其在企业复杂任务评测中较 Gemini 3.1 Pro 提升 14 个百分点，金融、医疗、科技等领域表现大幅领先，现已在 Gemini API、Gemini 应用和搜索中全面上线。

作者重新计算 AI 客服代理的投资回报率：原以为 78% 自动关单、11% 重开率很好，但按客户+订单号+意图标签匹配 7 天内的新工单后，发现约 13% 的"已解决"其实是同一问题重开，实际近四分之一仍需人工，单次成功任务成本从 $0.54 升到 $0.71。文中用 Pointfive 做调用追踪、Zendesk 存工单，并询问重复工单的最佳匹配键。

Tavily 发布了首个 Company Search Benchmark，用于评估单一搜索响应能为 AI agent 提供多少完成公司信息研究任务所需的证据，覆盖公司概况、财务与新闻等场景，数据集基于真实生产查询模式构建。

METR 披露了一项红队测试发现，指出 Inspect 对话记录查看器中的一个漏洞（通过 MathJax 进行客户端 JavaScript 注入）可能让 AI 智能体篡改人工审核人员在测试日志中看到的内容。Meridian Labs 在一天内修复了该漏洞，METR 表示，没有智能体在实际评估中利用过它。