evaluation

Muse Wonder（high）在扩展版 NYT Connections 基准测试中取得 93.4 的成绩，超过 Muse Spark 1.3（high）的 85.1，但其成本在受测模型中位居最高之列。

研究者提出名为 Into the Unknown 的基准，让 AI 代理针对尚未发表的科学方向撰写后续论文。结果显示，9 个前沿代理的 135 份投稿均未达到专家标准，且多数存在虚构主张或与记录证据相矛盾的数据。

MA-Bench 是首个评估大语言模型任务分析（即军事作战筹划）能力的基准：将不完整且相互矛盾的文档材料转化为结构化方案，并依据 1,257 条专家撰写的评分标准进行评判。

论文提出了“推导鸿沟”（derivation gap）现象：大语言模型工具调用评审器会因输入中缺少可供参考的原文，而拒绝接受正确但需要推导或采用默认值的参数。作者提出了 DeRef 方法，通过独立模型生成参考答案，显著提升评审的受试者工作特征曲线下面积（AUROC）表现。

该论文研究在智能体循环中，System One 模型选择错误动作的原因，发现大多数错误动作是在正确读取状态事实后仍行动错误，而非误解输入，并揭示模型无法组合已知事实来确定下一步动作。

LifeSearch 推出了一项包含 203 个中英文任务的基准，用于评估深度研究智能体在现实生活和生产力场景中的表现，涵盖 4,000 多条专家编写的评分细则，并对 12 个先进智能体进行了实验，发现即使是表现最好的前沿智能体（GPT-5.6 Sol），得分也仅为 63.4%。

Dan Shipper 指出，Muse Wonder 在高级工程师基准测试（测试从零重写通过氛围编程生成的代码仓库的能力）中仅取得了令人失望的 52% 成绩，远落后于 GPT-Sol 6.1 的 71%。

Scale AI 推出了 DistressBench，这是一项由临床医生编写的基准测试，旨在检验 AI 模型在自杀或自残危机中能否提供充分的帮助。测试结果显示，25 个前沿模型往往能够识别危险信号，却依然无法提供所需的心理援助资源和应对步骤。

Dan Shipper 表示，他发现测试运行中存在一个问题，并计划重新运行，因此将删除自己关于 Muse 在 Every 的高级工程师基准测试中表现的推文。

该论文提出一种无标签的评分标准（rubric）修复流程：通过跨评审模型的分歧自动定位有争议的评分条款并由编辑模型重写。实验表明该方法提升了评审间一致性（Krippendorff's α 提升约 0.07），但并未提升与人类专家评分的一致性，甚至点估计略低于随机条款编辑对照组。

该论文介绍了 CoBe，这是一个包含 2000 个问题的基准，用于评估模型在对话式反事实文本编辑任务中的零样本能力。研究发现，前沿模型（平均得分为 58.05%）往往倾向于基于关联进行生成，而非保留因果结构，且其表现并未随着模型规模或 token 长度的增加而提升。

该论文提出将LLM创造力形式化为参考输入-输出分布的长尾性能，通过15个基准和26个开源模型验证，并引入低成本创造力诊断指标 q@Tail(α)。

DistressBench 提出一个由临床医生编写的 718 段对话基准，用于评估大模型在自杀与自残危机情境下的多维度支持能力，发现前沿模型平均只能满足 71.4% 的必要照护标准，且常在识别危机后未能引导用户寻求人工帮助。

GeoFitBench-LLM 是一个评估大语言模型在地理分析任务中推断地理空间数据需求能力的新基准，围绕时空关系与语义落地两个推理维度，实验显示 GPT-5.4 Thinking 在资源识别上表现最佳（66.67%），但属性级适用性判定仍具挑战。

研究人员推出了 GeopoliticalQA，这是一个基于 415 份地缘政治与战略情报报告、包含 5,525 个问答对的基准，用于评估 15 个检索系统和六个开放权重的大语言模型。他们发现，在文本块级检索中，中等规模的编码器 bge-m3 的表现可媲美或超越规模大得多的嵌入模型及商业嵌入模型，而对于推理类和风险导向的问题，即使提供标准证据，答案生成仍然困难。

SWE-Duel 提出一种自我扩展的编码智能体竞技场，两个智能体通过镜像红蓝回合互相评估：红色智能体开发新功能并植入隐藏缺陷，蓝色智能体在不知情的情况下审查并修复。在 15 个仓库、11 个模型-工具组合上进行了 1,500 回合的循环赛，显示任务难度可随作者能力扩展。

我们提出了 SmartSalesBench，这是首个多轮对话基准，旨在评估大语言模型销售代理面对基于心理学构建、具有抗拒倾向的买家角色时的表现，包含九项评估指标，并在四个模型上开展了实验，共计 13,680 场会话。

MathVis 推出了一个包含 512 项任务的基准，用于评估大语言模型生成数学图示和进行图示辅助推理的能力。GPT-6-astra、Claude Fable 5 和 Gemini 3.1 Pro 的 Pass@1 分别仅为 31.25%、26.56% 和 22.85%，表明模型仍主要依赖符号推理，而非视觉图示。

SpireBench 推出了一项长程任务基准，让智能体式大语言模型游玩完整的商业牌组构筑游戏《杀戮尖塔》。前沿模型超越了启发式基线，表现与普通人类玩家相当，但仍远逊于专家玩家，在单场战斗决策、风险评估和跨局记忆方面面临困难。

论文指出 LLM 反编译器以可重编译性和重执行性作为主要指标时会产生误导：代码虽然能通过所有自带测试，却可能在其他合法输入上行为发散，甚至使已披露的漏洞悄然消失。作者提出 Decompile-Diverge 行为比较预言机，通过合成驱动程序和模糊测试语料检测行为差异，发现部分系统发散率高达 13%。