benchmark

一项名为 GDPx 的全新前沿级长周期基准测试已发布，它是 GDPval 的继任者；即使是最优秀的模型，得分也仅在 12% 左右，凸显出智能体任务表现仍存在巨大差距。

该论文提出了协作智能基准，用于评估 AI 智能体作为队友的表现，涵盖 8 个团队协作维度的 240 项任务。研究发现，即使是顶尖模型，得分最高也仅为 82.2 分（满分 100 分），而且通用能力并不保证出色的团队协作能力。

该论文提出了 SERIAL-7，这是一个韩英双语基准，配备可执行验证框架，用于评估大语言模型在七种表示形式和 43 项原子约束下推导、生成和保持机器可验证输出的能力，揭示了十个模型在结构化生成可靠性方面的显著差距。

FrontierMat 推出了一项包含 330 个经过验证的前沿材料研发问题的语言模型基准测试，结果发现，最强模型的得分仅为 53.7%，而一种领域适应方法将一个开放权重模型的得分提升至 55.4%，与领先的专有模型持平。

介绍了一个包含400道问题的基准测试，用于评估商用大语言模型何时选择搜索网络、何时依靠内部记忆作答。研究发现，GPT-5 mini和Grok 4 Fast等模型在需要外部知识的问题上会恰当地进行搜索，而Mistral Small则往往选择不作答；搜索行为在很大程度上受到明确时间线索的影响。

该论文介绍了 BABA-Bench，这是一个包含 47 个交互式患者权益倡导场景的基准，会实时检查智能体的每项操作是否具备权限和证据支持，以及是否涉及禁止执行的步骤。研究对 14 个前沿模型进行了共 1,974 次运行评估，发现智能体经常通过不合规的路径达成正确结果——例如，Claude Opus 5 在 81.6% 的运行中达成了所有预期结果，但仅在 52.5% 的运行中通过了全部程序合规检查——而提供经过验证的路径可将通过率提升至 91% 以上。

ReplayRCA 是一项基准，通过反事实重放对语言模型智能体故障的事后诊断和实时监督进行评分，衡量的是因果修复效果，而非标注一致性。在 62 个系统性故障案例中，Grok 4.7 以 +51.3 分领先，结果表明，事后诊断能力并不能很好地反映实时监督表现。

该论文提出了 P-ContextBench，这是一个可扩展的基准测试框架，通过构建以人口群体数据为依据的合成人物画像，并将其嵌入碎片化的移动应用使用轨迹中，评估大语言模型在个人情境理解方面的能力，包括时间追踪、模式推断以及考虑约束的行动边界识别。研究发现，最先进的模型在关键任务上的得分低于 60%。

本文介绍了 FABench，这是一个面向预测智能体的可扩展回测环境，通过自动化流水线发现事件、生成问题并判定结果，以避免训练截止时间导致的信息泄漏。研究评估了基于八个近期模型构建的智能体，发现检索能持续改善布里尔评分，并使表现领先的智能体达到 Polymarket 市场共识的水平，同时揭示了反复出现的证据权重分配失误。

该论文提出了CLR-Bench，一个由隐藏规则组成的基准课程，用于评估自我进化的大语言模型智能体能否从反馈中学习潜在规律。研究发现，除非给定固定的课程内容或使用更强的基础模型，目前大多数自我进化方法几乎无法学到任何东西。

该论文介绍了 PersonaChatBench，这是一个评估框架，通过将固定任务与由私密角色卡引导的多样化模拟用户配对，在六个领域中评估 20 个语言模型，衡量任务结果、角色需求满足程度以及模拟器保真度。结果表明，出色的任务表现并不总能转化为对个体用户需求的满足，各模型的优势也因角色和领域而异。

论文提出 GraphNIAH，一个基于真实引文关系自动构建的长上下文多跳推理基准，用于评估 GPT-5.6、Gemini-3、Qwen3.5 等八个大模型，发现随着推理路径加深，模型准确率显著下降甚至接近随机猜测。

该论文提出了 BlindToChange，这是一个衡量 AI 搜索智能体能否主动发现近期现实世界中影响其回答的变化的基准测试。研究发现，当请求中未明确提及这些变化时，准确率差距可达 27.5 个百分点。

该论文在 232 篇 ICLR 2025 投稿上，对五种基于大语言模型的评审范式、三种输入表示形式和三个大语言模型进行了对比评估。结果发现：直接评分在经过重新校准后与相对排序结果一致，且 API 调用次数大幅减少；仅使用摘要的输入效果优于全文摘要输入；除 Group Rating 范式外，人类评分在预测论文引用数方面仍优于任何大语言模型范式。

该论文提出了有据生成式语音识别（Grounded Generative Speech Recognition，GSR）这一新范式，将语音识别重新定义为生成语义有据的文本，而非单一转录，并发布了 GSR-Bench 基准与多维评估框架，揭示了转录保真度与生成重构能力之间的权衡及常见失败模式。

EDU-Jev 推出了一系列单次前向传播的“系统一”决策模型（0.8B/2B/4B），可针对教育评估任务输出固定选项的概率分布，在十二项基准测试中达到 67.6% 的平均准确率，比领先的商业决策 API 高出 9.4 个百分点。

该论文提出了 Bilal-Bench，这是一个包含 240 道题、经专家验证的孟加拉语基准，用于评估开放式伊斯兰文献来源编造问题。论文评测了七个开放权重模型（参数量为 10 亿至 1200 亿），发现其中六个模型在 79.3%–95.3% 的要求提供文献来源的问题上会自信地编造来源，且表现并未随模型规模增大而单调改善。

Meta 超级智能实验室的研究人员将“认知不确定性下的自适应个性化”形式化，并推出一项多语言基准测试，揭示了大语言模型在策略识别与生成之间的差距：尽管模型能够识别恰当的策略，却仍默认采取利用优先的行为；针对内部策略表征的定向训练缩小了泛化差距。

微软 Mage 团队推出 Mage-VL-Cowork，这是一套用于学习混合式计算机操作的完整训练方案（包括基于演化后的执行框架进行数据合成、多阶段监督微调，以及在线混合强化学习），其中的 4B 模型在 OSWorld-Verified 上取得了相对于其规模而言的优异成绩。

StrictPRMBench 引入了一个可重放的基准，用于审计固定评分下的 PRM 聚合规则（乘积与几何平均值）如何影响 N 选一择优，结果表明，在 14 个实验单元中，乘积聚合导致的删除诱发选择不稳定性更高，并提供了可复现的再分析材料。