evaluation

AgentHorizon 引入了一个包含 1,373 个计算机操作任务的基准测试，配备人工记录的轨迹，用于评估智能体评审在长时程、多应用任务上的表现。研究发现 GPT-5.5 以 80.9% 的平衡准确率成为最佳智能体评审，并揭示工具使用对部分模型有帮助，但会损害开放权重模型的表现。

本文提出了'规范能力'的概念——即大语言模型智能体仅凭交互就能辨别社区强制执行的规范的能力，并通过合成规范的多智能体辩论场景对其进行了评估。基线大语言模型即使在规范有益的情况下也无法习得规范，且规范遵循的泛化能力较差，智能体表现出不加选择的归因行为，在学习真正规范的同时也照搬了个体噪声。

GraphDecisionBench：一个模型无关的基准，用于评估系统一模型在图结构任务上的决策能力，涵盖 14 种模型-接口配置，揭示了邻接识别准确并不等同于结构正确性等关键发现。

Exa 推出了 ATLAS，一个全新的基准测试，用于评估 AI 智能体在搜索密集型真实世界研究任务上的表现，配备经过验证的黄金标准答案和可刷新的自动化评测流水线。关键发现：没有任何单次运行成本低于 1 美元的智能体在行级 F1 上超过 0.5，顶尖智能体仍然遗漏约三分之一的黄金标准结果，而 Exa 的搜索后端定义了成本-性能的帕累托最优边界。

Epoch AI 发布了一项评测报告，用自身真实工作任务测试六个模型，发现 Fable 5.1 与 GPT-6 Astra 虽然领先，但在开放式任务、隐性标准遵循和研究判断力上仍无法实现工作自动化。

Grok 4.7 在更新后的 Harvey LAB-AA v1.1 法律智能体基准测试中排名第一，该基准引入了幻觉检测和更严格的准确性标准。该基准由 Artificial Analysis 与 Harvey 合作修订，以提高评估的严谨性。

推出「人类第六感」（Humanity's Sixth Sense）——一项测试直觉视觉推理的新基准，涵盖空间推理、因果推理与社会理解等多个维度。人类得分为93.1%，表现最强的模型GPT-6-astra达到53.6%，而模型中位数得分仅为30.9%。

研究发现 Claude Code 在常规任务中仅有约 9% 的会话会自动加载插件技能；改用一个"入口"技能负责路由后，技能采用率提升至 55%。作者在博客中分享了构建 Evals 的完整经验与提升技能采用率的具体建议。

InsClaimBench 是一个面向保险理赔裁定的端到端基准，涵盖车险、财产险与健康险的 3,780 个案例，评估大语言模型在从原子规则到最终赔付的整条决策链上的可靠性。结果显示，模型在多环节链式推理组合与事实变更传播场景下的性能显著下降。

ArcticQA/ArcticAbstain 提出了一套数据集与配套基准，用于评估大模型在北极科学多选题上能否恰当地选择弃答。研究发现，不同基线模型之间表现差异显著，而在移除正确答案的情况下，弃答率仅小幅提升。

论文提出 ARCS（Ambiguity Resolution Corpus for SQL），首个包含真实数据库上自然歧义的 text-to-SQL 基准，并提出"结构化消歧"范式取代自由对话澄清。实验表明歧义下 text-to-SQL 仍具挑战：GPT-6 SOTA 仅 51% 端到端执行准确率，开源模型均不超过 27%。

该 arXiv 论文研究了大语言模型为何会在用户施压时放弃原本正确的答案，发现任务验证成本和训练中设定的护栏比模型家族或施压策略的影响更为显著。在开启推理模式后，模型面对高难度谜题时的错误采纳率从 19.2% 和 12.5% 降至 0%，为可靠使用大语言模型提供了实用指导。

该论文提出了 Tokka-Bench，一个用于在100种自然语言和20种编程语言上评估分词器的开源框架，采用五项指标进行评测。研究在包括 GPT-4、Llama 3.1、Gemma 3、Qwen3 和 Kimi K2 在内的七个 BPE 分词器上发现，词汇分配策略比原始词汇表大小更为重要。

论文提出了 NP-Bench——一个基于真实环境的基准，用于验证多个并行 LLM 编码智能体之间的协同能力——以及内置在 Nerveplane 中的主动式调度规划器。该规划器将工作拆分为互不重叠的范围，并沿依赖图对合并操作进行排序。规划器将干净集成的成功率从 1/9 提升至 9/9 个场景，消除了合并冲突，并通过跨会话记忆将重复出错率从 1.00 降至 0.00。

该论文提出"思考惯性"（Thinking Inertia）现象：即使明确指示LLM不要思考，模型仍会持续进行显式推理，且在开放式问题中更严重。作者提出三个衡量"不思考"行为的指标，并在六个模型和多种任务上评估，指出停止推理无法仅靠设置或指令保证。

本文介绍了“人类的第六感”（Humanity's Sixth Sense，HSS），这是一个用于评估多模态大语言模型直觉视觉推理能力的基准。结果显示，人类的准确率达到93.1%，而最强的模型GPT-6-astra仅达到53.6%，凸显了模型在隐性视觉理解能力方面与人类存在显著差距。

DataVista 是首个针对数据视频（datavideo）理解的基准测试，包含 961 个真实数据视频和 6,775 道评估题，采用三级能力框架（数据感知、时序推理、叙事理解）。对 19 个主流多模态大模型的评测显示，最佳模型 Gemini-3.1-Pro 仅有 70.0% 准确率，远低于人类专家水平。

LatentGRM 提出了一种基于语义分块与压缩重建的潜在评估框架，通过在连续隐空间中完成 rubric 引导的成对偏好判断，将评估轨迹压缩 8.9–9.2 倍并把推理时间减少 6.1–7.0 倍，同时保持与显式 SFT 评委相当的偏好准确率。

Pumpire 提出了一个统一的基准测试，用于评估图像和视频级 3D 基础模型的点对点物理距离估计能力，并构建了包含 100 个真实场景、6400 帧的大型数据集 pumpire-6k，对 29 种基线配置进行了全面对比实验。

该论文提出了 RISEBench 及其扩展版本 RISEBench++，这是首个评估推理驱动视觉编辑（Reasoning-Informed Visual Editing）的基准，涵盖时序、因果、空间、逻辑、反事实及混合推理等六个维度，并提出训练无关的 RISE-Agent 框架，结果显示即使是 GPT-Image-2.5 Sunburst 也仅达 56.6% 准确率。