evaluation

Google 与香港大学的一篇论文提出 VeriCUA，通过检查已保存的文件和应用状态来验证计算机使用智能体的任务，而非信任智能体自身的完成报告，将误报率从 VLM 评审器的 24.8% 降至 5.4%。

HyperHat 的创始人分享了一份评测设计草案，旨在衡量 AI 智能体能否识别相互矛盾的任务要求并提出澄清问题，而非盲目执行。该设计将存在矛盾的任务与要求可满足的对照任务配对，以防止智能体通过简单取巧的方式在评测中得分。

OpenAI 宣布了一项新的内部基准测试，用于评估其 AI 处理购物和膳食规划等人类日常任务的能力，并报告称，GPT-6 Astra 在搬家后寻找幼儿园的任务中得分为 93.1%，在制定适合糖尿病患者的膳食计划的任务中得分为 90.4%。

OpenAI 宣布推出 LifeVal，这是一项新基准，基于数千名 ChatGPT 用户对他们最希望获得帮助的日常任务的反馈构建而成。在过去一年中，OpenAI 一直使用该基准来衡量并提升模型在实际工作流程中的表现。

一项包含 216 次运行的基准测试，在一项浏览器任务中比较了 Claude Code（Opus 5.5）和 Codex（GPT 6 Astra）通过 CLI、技能和 MCP 使用 agent-browser、Playwright 和 Chrome DevTools 的表现；所有运行均通过测试，工具选择因智能体而异，而一个生成的 Python 脚本在速度和成本方面都远胜于每一次智能体运行。

OpenAI 宣布推出 LifeVal，这是一项用于衡量其模型在日常实际任务中表现的评估——涵盖育儿、预算管理、购物和政务服务等场景——数据来源于时间利用研究以及一项新的 3,995 人调查，过去一年中该评估一直用于推动模型改进。

一项名为 GDPx 的全新前沿级长周期基准测试已发布，它是 GDPval 的继任者；即使是最优秀的模型，得分也仅在 12% 左右，凸显出智能体任务表现仍存在巨大差距。

该论文提出了协作智能基准，用于评估 AI 智能体作为队友的表现，涵盖 8 个团队协作维度的 240 项任务。研究发现，即使是顶尖模型，得分最高也仅为 82.2 分（满分 100 分），而且通用能力并不保证出色的团队协作能力。

介绍了一个包含400道问题的基准测试，用于评估商用大语言模型何时选择搜索网络、何时依靠内部记忆作答。研究发现，GPT-5 mini和Grok 4 Fast等模型在需要外部知识的问题上会恰当地进行搜索，而Mistral Small则往往选择不作答；搜索行为在很大程度上受到明确时间线索的影响。

本文提出了 PACE（代理对齐与曲率展开），一种优化前诊断方法，利用重复的人类评分来预测由固定代理指标诱导的人类评价增益曲线。该方法将代理指标优化建模为带有 KL 正则化的指数倾斜，并包含一阶对齐项和二阶修正项。结果表明，该方法在多个基准上降低了留出数据上的增益预测误差。

该论文介绍了 ProClaim，一种将结构化证据状态持久保存在模型上下文之外的科学智能体，以及 ProClaim-eval，一个包含 718 条主张的共识验证基准。研究表明，与基线方法和通用智能体框架相比，证据状态和经过训练的停止判定器均能提升共识主张验证的效果。

该论文提出了一种感知不一致性的评估框架，用于衡量音频大语言模型中文本与声学情感线索之间的分歧。研究在三个语音语料库上发现，跨模态不一致性始终会增加情感识别错误，而监督式分类器则呈现相反的趋势。

本文提出了对齐式 RAG 评估（Aligned RAG Evaluation），这是一种查询配对协议，揭示了攻击成功率（ASR）会掩盖 RAG 知识投毒防御中由防御措施引发的失效，并在 HotpotQA 和 Natural Questions 上区分被成功阻止的攻击与新引入的包含攻击目标的回答。

该论文介绍了 PersonaChatBench，这是一个评估框架，通过将固定任务与由私密角色卡引导的多样化模拟用户配对，在六个领域中评估 20 个语言模型，衡量任务结果、角色需求满足程度以及模拟器保真度。结果表明，出色的任务表现并不总能转化为对个体用户需求的满足，各模型的优势也因角色和领域而异。

该论文提出了有据生成式语音识别（Grounded Generative Speech Recognition，GSR）这一新范式，将语音识别重新定义为生成语义有据的文本，而非单一转录，并发布了 GSR-Bench 基准与多维评估框架，揭示了转录保真度与生成重构能力之间的权衡及常见失败模式。

该论文提出了 Bilal-Bench，这是一个包含 240 道题、经专家验证的孟加拉语基准，用于评估开放式伊斯兰文献来源编造问题。论文评测了七个开放权重模型（参数量为 10 亿至 1200 亿），发现其中六个模型在 79.3%–95.3% 的要求提供文献来源的问题上会自信地编造来源，且表现并未随模型规模增大而单调改善。

StrictPRMBench 引入了一个可重放的基准，用于审计固定评分下的 PRM 聚合规则（乘积与几何平均值）如何影响 N 选一择优，结果表明，在 14 个实验单元中，乘积聚合导致的删除诱发选择不稳定性更高，并提供了可复现的再分析材料。

SemiAnalysis 正式推出 GDPx，这是一项前沿水平的基准测试，用于衡量智能体在最具经济价值的各个领域中的能力，即使是目前最优秀的模型，得分也仅为 12%（1/7）。

Moralitybench.ai 已更新，新增了 20 个 AI 模型分别对 56 道标准化道德心理学问题各作答五次的结果，其中包括新的电车难题变体，另有两项 DIT-2 测试尚待完成。

持续学习考试（CLE）引入了 120 个专家编写的专业任务，组织成 5 级阶梯结构，用于测试 LLM 智能体能否复用早期获得的知识；即便是最佳配置也只能通过 47.7% 的关卡。