evaluation

论文《FDE-Gym》提出一个由95个端到端企业交付任务组成的基准，评测AI代理能否胜任Forward Deployed Engineer角色，结果显示最强模型平均得分仅0.56、95个任务中仅14个真正解决，瓶颈在于未明说的业务规则与隐性约束。

一项评估通用AI模型（以GPT-6 Astra为案例）在工程CAD任务中能力的研究，涵盖CAD理解、生成、编辑与评估。研究发现通用AI模型开始在工程设计中展现实用价值，但在几何有效性、装配可行性与参数化可编辑性等工程可靠性方面仍存在重大挑战。

本文评估了一个类型化决策模型（Jev 1.13）在固定决策点被调用时，是否能在 Terminal-Bench 2.1 上降低 Claude Sonnet 5.5 终端智能体的成本，同时不损害其性能。结果表明，该控制器使每次尝试的成本增加了19%，而通过率没有任何提升（73% 对 73%）。原因在于，虽然它对结束请求的排序能力较好（AUROC 0.78），但其概率校准很差，导致触发了大量不必要的验证。

一位心理治疗师描述了一项亲身实验，测试一个名叫尤达的 AI 伴侣在底层 Claude 模型被更换后，是否仍能让人认出是原来的它。结果表明，指令塑造了可辨识的人格，而积累的记忆则赋予了它独有的个人经历——删除记忆带来的影响比更换模型更大。

StarSkirmish Bench v0.2 在一小时时限内让各旗舰 LLM 用 C++ 编写 StarCraft: Brood War 神族机器人并与人类选手机器人对战，GPT-6 Astra 以明显优势居首，Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 紧随其后，且结果显示人类顶尖机器人仍远超所有模型。

FDE-Gym 是一个将 AI 智能体作为前置部署工程师进行评测的基准，包含 95 个源自真实交付项目、需与剧本化利益相关者交互的任务；最佳配置仅完全解决 14 个任务，主要失败原因是遗漏未明确说明的约束。

Composio 报告称 Cline 搭配 GPT 6 Astra 在其状态化工具使用基准测试中取得 23/29 的成绩，是其测试过的 harness 中最高分。

一家构建记忆基础设施的公司推出了“glasshouse”，这是一项长期记忆基准测试草案，基于一段涵盖10种语言、长达197万 token 的对话设置了2,847个问题，分别报告17个维度的结果（包括事实更新一致性和冲突解决），不设单一总分，并向智能体记忆社区征求反馈。

该论文审计了十六个开源RLVR数学语料与六个基准之间的去污染策略，发现更激进的语义清洗并不更可靠，而由评判模型裁决的策略在保持高召回率的同时实现了98.1%的精确率。作者公开了审查标签与各策略的移除决策，以推动可衡量可靠性的去污染报告。

首尔大学团队提出KBS（韩国基准测试套件），包含Ko-ARC、Ko-GSM8K等六个基准，共9,396个条目，采用非纯翻译方式构建韩语评测集，并评估了韩国自研模型、多语言开源模型及闭源API模型，指出评测结果高度依赖任务构建、评分规则与提示方式。

APRiL 提出了一个针对中文社交感知能力的开放式基准，包含 2,196 个评测实例，涵盖六类社交场景和两项互补任务。对来自六个模型家族的 12 个模型的实验揭示了一致的“理解-响应”差距：高质量的场景分析能提升响应质量，而薄弱的分析反而可能降低响应质量。

该研究考察了推理模型的额外思考如何影响其对日常语用含义的理解，发现思考会使模型按字面逻辑解读“某些”和“或”，消除通常隐含的言外之意，并提出了一种在推理过程中依据早期解读作答的补救方法。

AgentEval 是一个用于对有状态智能体进行证据约束评估的系统，它在工具执行、证据采集、报告限定和案例维护的全过程中传递受契约约束的评估记录，以区分已满足、已违反和尚未确定的义务。

该论文揭示了引入评判器的蒙特卡洛树搜索（MCTS）为何无法提升计算机操作智能体的表现，并提出了 Probe-and-Resume（探查并恢复）策略：仅在候选最终状态下调用评判器，并赋予其对分叉环境的完整探查权限。该策略使 Terminal-Bench 2.1 的任务成功率提高了 8.4 个百分点，而成本不到 Codex CLI 的一半。

SciΠPivot 推出了一项包含 248 个案例的基准，用于评估自主研究智能体的科学判断力，该基准基于六个月内对 26 个项目所做的人工修正构建而成。结果表明，前沿大语言模型往往无法识别经人工修正的计划，多数模型的表现低于随机猜测水平，最高准确率为 63.5%，而新接触这些项目的人类研究人员的准确率为 73.4%。

OmicsBench 提出了一个长时程、多轮次基准，包含 97 个采用有向无环图（DAG）结构的生物信息学任务（共 662 个子任务），用于在研究项目规模的工作流程中评估 AI 智能体，揭示了显著的性能差距，并引入了一套无监督失败模式发现流程。

本文发现，在四组 7B SimpleRL 模型对中，所报告的 RLVR 在域外多项选择题上的性能提升，有 82% 是由仅识别 \\boxed{} 中答案的答案提取器造成的假象。这意味着，强化学习主要是教会模型将答案放入框中，而非真正提升其推理能力。

AlphaDiana：一个用于可验证推理任务中智能体的模块化测量系统，研究发现工具框架、技能引导和记忆保留并不能一致提升推理模型的准确性。

论文提出 RealtimeBench，包含六类游戏共180个任务，在推理期间游戏持续运行来评估 LLM 智能体的实时决策能力，并提出 TORSI 双时间尺度自我改进方法，将 Jev 模型平均分从 13.51 提升至 24.19。

作者对 Hark、Instinct 和 Muse 三款个人 AI 代理执行相同的 6 项任务进行对比测试，Hark 以 57/60 领先，Instinct 和 Muse 均为 55/60，最高与最低仅差 2 分。Mux 编码最强，Hark 表现最稳定，整体差距很小。