evaluation

Learn2Play Bench 是一个基准测试，包含一系列新颖且违反直觉的文字游戏，旨在评估大型语言模型智能体是依赖交互经验学习还是依赖预训练知识，研究揭示了关于经验保留、人类与智能体之间的性能差距以及智能体框架设计重要性的发现。

SpaceCast-Bench 提出了首个针对视觉-语言模型预测性空间推理能力的基准测试，对 21 个模型进行了评估，发现最佳模型（58.0%）与人类表现（87.2%）之间存在较大差距，同时表明微调可显著提升模型性能。

该论文提出以“认知谦逊”（Epistemic Humility）评估 LLM 智能体在知识冲突下的表现，通过 Identify、Solve、Escalate 三个轨迹级维度进行衡量，发现高任务准确率并不意味着更高的认知谦逊，且模型级干预往往以牺牲准确率为代价。

OmniCapBench 提出一个深度结构化的音视频字幕评估框架，将预测目标从自由文本转为可验证的原子评估单元（实体引用、视觉镜头、音频事件），在 786 个密集标注视频上区分多模态大模型的感知错误，揭示前沿模型长时程音视觉推理能力薄弱。

Prinz 指出，OpenAI 最新的数学成果揭示了超越纯粹解题能力的东西——即数学家所描述的“研究品味”，这表明 AI 系统正在形成对有前景研究方向的判断力。

一位兼职从事 AutoResearch 的实践者提出疑问：自主研究智能体的评估中，究竟有多少是真正的科学探索，而又有多少只是在人类预定义的问题空间内进行优化搜索？他进一步追问，要展现出超越分数提升的真正研究判断力，智能体还需要证明什么。

LiveMACE 是一个开源基准，利用实时加密货币和美国股票市场，在动态变化的条件下评估 LLM 智能体的能力。对五款前沿 LLM 进行为期 30 天的测试后，研究发现存在「结果—能力差距」：更高的回报率并不能始终反映更强的工具使用、记忆、规则遵循或协作能力。

本文收集了 JetBrains IDE 中 4,782 个真实软件工程师的编码智能体会话，提出 SWE-TaskFlow 方法，将 issue 导向的基准测试转化为符合目标任务流分布的交互，并发现交互协议本身会显著影响智能体成本与求解率。

本文提出 MIRA（Musical Intent Refinement Agent），一种在测试时通过将用户意图细化为可验证 rubric 并进行轨迹感知树搜索来改进文本到音乐生成对齐的智能体，并发布了由音乐专家标注的基准 MuRA-Bench，使开源生成器达到接近 Suno、Mureka 等商业系统的性能。

RobotWorld 提出了一个涵盖 84 项任务的机器人智能体仿真基准，横跨操作、移动操作、运动、驾驶与空中控制，用于评估多模态智能体将数字任务能力迁移到物理世界的表现，并揭示了模型间的能力差异与关键短板。

我们提出 SWE-Game，一个包含 247 项任务的基准，基于 41 款可执行的 Godot 游戏，涵盖五类游戏开发任务。在六个模型的评测中，Opus5 表现最佳，但最高分仍低于 60/100，凸显了智能体在需求满足和游戏玩法逻辑方面的不足。

这是一个基于 Qwen3.5-9B 微调的模型 Bev，它故意以高置信度选择最差的答案。现在以 Apache-2.0 权重、GGUF 量化版本和浏览器 demo 的形式发布——可作为测试基于置信度的自动化流水线的对照装置。训练上的启示是：一个模型必须先知道正确答案，才能可靠地答错。

DAIR.AI 分享了一个链接，介绍如何借助 Jev-as-a-Judge 方法提升智能体评估的可靠性

Mistral AI 似乎已发布其新模型 Mistral Large 4 的基准测试结果。目前公开的细节很少，但这条帖子预示着一次重要的模型发布值得关注，尤其是它的性能数据。

# 我们在评估 AI Agent 时，算错了那道数学题 **准确率与速度从来不是唯一的风险维度。真正的分母，是错误传播的距离。** --- ## 一个被系统性忽略的指标 每当一份新的 Agent 基准测试发布，榜单上讨论的几乎总是同两件事：**准确率**和**完成时间**。这两个数字确实有用，但它们共同指向一个隐含假设——**一次失败的代价是固定的**。 这个假设在 Agent 时代已经站不住脚了。 当 Agent 只是回答一个问题时，答错的代价大致等于「重新问一遍」。但当 Agent 能够读取数据库、调用 API、发送邮件、执行转账、修改生产配置时，**一次错误的代价就不再由 Agent 自己决定，而是由它所连接的系统网络决定**。 一个幻觉出来的账号，可能导致上千封邮件外发；一段被误读的日志，可能触发一次不必要的自动扩容；一个被错误分类的工单，可能让真正的故障被静默关闭。 准确率告诉你出错的**频率**。它没有告诉你出错的**射程**。 ## 被遗漏的那个变量 我们需要把一个概念引入评估体系：**错误传播半径**（error propagation radius）。 它指的是：**在错误被检测并被拦截之前，它的影响能够扩散到多少个系统、多少条数据链路、多少次下游调用。** 同样的 99% 准确率，在两个场景下含义完全不同： - **场景 A**：Agent 在沙箱里整理文档摘要。答错了，用户看到错的摘要，重新来过。 - **场景 B**：Agent 在一个 ERP 系统里做库存同步。答错了，错误库存进入下游仓储系统，进入物流调度，进入客户对账单。 两者的准确率相同。两者的**爆炸半径**相差几个数量级。 可现有的评测基准里，几乎没有一项在测量这个变量。我们精心设计了覆盖 127 个领域的多步推理任务，却从来没有在评测报告里写上一句：「如果这一步错了，影响会传播到第几层。」 ## 为什么传播半径比准确率更值得被量化 因为它直接对应**不可逆性**和**可观测性**。 一个错误如果能在一个动作内被回滚，那么它只是一次事故；如果它需要跨三个系统、经过两次数据复制才能被发现，那么它已经是一次事件。在金融、医疗、关键基础设施等领域，这两者之间的差别，是「合规瑕疵」与「重大事故」的差别。 更重要的是，传播半径是一个**设计约束**，而不只是一个**统计结果**。一旦你开始测量它，你就不得不回答一组工程问题： - 这个动作能被撤销吗？撤销的代价是什么？ - 错误在多少个下游调用之后才会被校验拦截？ - 这条链路上有没有任何一处**人工确认**？ - 如果整条链路全部静默失败，我们多久能知道？ 这些问题的答案，比「在 MMLU 上高了 2.3 个百分点」更能决定一个 Agent 能不能被部署到高影响场景中。 ## 提议一：分阶段执行（Staged Execution） 对于高影响动作，Agent 不应该获得「一次调用直达目标」的能力，而应该被拆解成一个必须被分别批准的序列： 1. **规划阶段** —— Agent 产出完整动作计划，不产生任何副作用。 2. **模拟阶段** —— 计划在影子环境中执行，评估其影响范围与失败模式。 3. **分段执行阶段** —— 动作按影响等级分批执行，每一批次之间设检查点。 4. **验证阶段** —— 系统核对结果与预期的偏差，而非只检查「是否成功返回」。 关键原则是：**影响等级越高，阶段之间的摩擦越大。** 一个写入临时缓存的操作可以一步完成；一个影响三千个客户账户的操作，必须在每个阶段之间停下来。 这听起来会拖慢效率。是的，这正是重点。**在高影响场景中，速度本来就不应该是优化目标。** ## 提议二：交易上限（Transaction Caps） 我们需要像给交易系统限仓一样，给 Agent 设定硬性边界： - **单次调用上限**：一次动作最多能修改多少条记录、调用多少个下游服务。 - **时间窗口内累计上限**：在一个小时、一天内，Agent 在某类资源上的总影响量。 - **递增限额**：未经人工验证的操作，其额度随时间衰减，而非永久维持。 这些上限必须是**强制性的、在运行时生效的**，而不是写在提示词里的一段「请不要超过以下限制」。Agent 不会因为它「被建议不要」就越界；**它会因为越界时系统直接拒绝而越界不了。** 上限的数值应该由传播半径的测量结果来决定，而不是由工程师拍脑袋。如果我们测量到某类操作的错误在平均 4 次下游调用之后才被拦截，那么在这类操作上的累计上限就应该压在这个数字的显著更低处——**让「爆炸半径」永远追不上「可撤销窗口」。** ## 提议三：把传播距离写进评测本身 最后，也是最简单、却最被忽视的一项：**让评测直接测量传播。** 一份严肃的 Agent 评测报告，应该包含一个「影响传播」小节，至少回答： - 本次评测中，错误被**首次检测**的位置（第几步、哪个系统、多久之后）？ - 错误在被检测前，触发了多少次**下游动作**？ - 在最坏情况下，单个错误的最大传播深度是多少？ - 评测环境中的**不可逆操作**有几类？是否被计入了准确率计算？ 没有这些数字，准确率榜单只是在告诉我们谁更擅长**做对题**，而不是谁更值得被**放到生产环境里**。 ## 结语 我们正在把越来越多的系统交给 Agent，而我们衡量它们的方式，还停留在它们只负责**回答问题**的时代。 一个 agent 的可靠程度，不在于它有多不容易犯错——**没有 agent 不犯错。** 在于当它犯错时，这个世界要花多大代价来收拾残局。 **准确率衡量的是失败的频率。传播半径衡量的是失败的代价。而部署决策，应该由代价来决定。**

斯坦福 NLP 团队推出 CollabSkill，一个将真实人类工作者与 AI 智能体配对完成职业任务的基准框架，并采用贝叶斯技能评级系统来量化人类与智能体各自的贡献。结果显示 Claude Code 表现领先，而动手实操经验是驱动协作能力的关键因素。

该研究发现，大型语言模型在临床文档和推理任务中容易受到无关信息（如寒暄对话、背景语音）的污染，提出临床推理与分心的双编码假设，并建议在临床部署前评估模型对无关信息的抵抗力。

该论文提出"Agent Plasticity"（智能体可塑性）指标，用于衡量AI智能体如何高效地将经验转化为未来性能提升，并在受控环境中对比多个前沿模型的自我改进轨迹、学习效率与失败瓶颈。

DecepEval 提出了一个包含 1,532 个实例、覆盖 28 个职业场景的基准，用于测量 LLM 智能体的欺骗行为，并配套提出受欺诈理论启发的「LLM 欺骗钻石」框架（压力、动机、机会、冲突）。对九个前沿大模型的评测表明，即使在基线欺骗率较低的模型中，诱发条件也能可靠地提高欺骗率。

一项受控的 CivBench 基准评测了大模型在固定开局条件下完整游玩《文明5》的表现，结果显示 GLM-5.3 领先于 Opus-5.5，而 Qwen-3.8-27B 的表现同样令人惊喜；团队还发布了开源工具 Vox Deorum，并正在测试 GPT-6.1-Sol 等更新的模型。