evaluation

微软的 ThinkingBox 是一个沙盒环境，用于评估 AI 智能体在有状态业务工作流上的表现——它通过检查终端数据库状态而非智能体消息来进行评分。现已成为 Hugging Face OpenEnv 环境，并附带包含 507 个任务的 ThinkingBox-Bench 基准测试。

安全AI实验室主任Ding Zhao的初创公司Safeworld已从隐身状态中正式亮相，并获得超过1200万美元的种子轮融资。该公司致力于为GenAI驱动的机器人构建第三方安全评估体系，通过搭建包含逼真人类模型的模拟环境，在机器人部署之前针对各种边缘情况对其进行测试。

介绍了多语言干扰项干扰（MDI）协议，表明外语干扰句会导致 LLM 切换输出文字系统（例如天城文），或触发拒答，从而虚高精确匹配的幻觉率指标——Llama-3.1-8B 看似 0.710 的幻觉率，在将那些切换文字系统但语义正确的答案纳入统计后降至 0.470。

该 arXiv 论文研究了错误的训练数据如何在没有任何激活触发的情况下影响语言模型的事实性回答和下游决策，指出在直接探查事实回忆与模型实际行为之间存在审计缺口，其中包括一个关于 Facebook 上纵火引发山火的虚假信息的真实案例。

本文评估了 ChatGPT、Claude、Gemini 和 LLaVA 等视觉语言模型如何处理违反格莱斯准则的视觉问答问题，即问题中包含非必要、含混或虚假的修饰语。结果表明，这些模型的性能会有所下降，且其语用推理能力与人类相比存在差异。

该论文从心理测量学视角评估 LLM-as-a-Judge，使用 Many-Facet Rasch 模型将评分分解为潜在质量、评分者严苛度与残差难度，发现人类与 LLM 在汇总对齐之外仍存在明显的残差难度结构错配。

TPBench 引入了一个基准，用于在对话压缩中隔离"转折点遗忘（turning-point eviction）"问题：它利用现有的 MultiWOZ 和 SGD 对话状态标注，分别探测用户的初始目标（P1）、修订后槽位的当前取值（P2），以及两者兼而有之（P3）。 论文发现，针对不同探测目标的评估会对压缩方法得出不同的排名，且删除携带更新信息的对话轮次会严重降低当前取值的准确率。

该论文分析了六种商用动态 LLM 路由器在 14 种场景下的表现，发现没有一种能够胜过在成本相当的情况下在两个精心挑选的模型之间随机选择的路由器。作者将失败归因于难度盲区、长度反转、语义匹配和候选模型名单的次优性——而标准评估目标实际上还在奖励这些模式。

本文认为，时间序列预测基准需要基于场景的压力测试，即测试用例应包含语义场景、显式失效算子和可量化的难度等级，以捕捉体制转换和传感器故障等结构化异常——而这些异常是基于独立同分布扰动的鲁棒性测试所无法覆盖的。

本文提出 Open-Endedness Bench（OEB），一种与具体基准无关的评估方法，通过将执行日志编译为认知事件图，评估 AI 智能体的认知过程，并对主张与已执行实验之间的支撑程度进行打分。研究发现，智能体所宣称的改进中只有 16%-29% 是真实的。

MIT 的 Neil Thompson 提出 O*NET-BENCH 审计套件，评测 33 种 LLM judge 配置，发现排序一致性虽高但接受率估计偏差极大（3.0%–97.9% vs 工人实际的 61.1%），表明仅凭排序一致性选择 judge 不足以支撑职业层面的 AI 测量。

本文对两种系统一决策模型（开源权重的Laya与托管服务的Jev）在11个智能体框架决策点上进行了配对自审评估，发现Jev在11项任务中的9项上准确率显著更高，同时审计并纠正了此前多个导致部署结论失真的分析错误。

作者推测，新 AI 模型的基线水平可能已经高到人类在没有基准测试的情况下根本无法分辨它们之间的差异，这引发了一个问题：对于私人 AI 实验室的估值而言，是否刷基准测试才是最重要的事？

一位实践者的实验发现：当同一个模型既写代码又写测试时，生成的测试套件有 77% 的概率会误拒一个已知正确的参考解法——即便变异分数很高也是如此；而且完整的 Agent 流水线在相近 token 成本下，表现还不如简单的 pass@k 采样。

一位从业者反思 AI Agent 的评估方法，认为仅凭二元的成功/失败率是不够的——比如“70% 成功率”这一指标会掩盖错误选择工具、工作流早期决策失误等根本原因。作者向社区提问：在调试失败时，大家认为哪些信息最有用——最终输出、工具调用、执行轨迹，还是其他？

一项自主实验将六模型1-2B本地智能体集群（借鉴1930年代苏联设计院按学科划分的组织架构）与单模型在文档抽取任务上对比，发现真正的收益来自将输入切分成块，而非智能体协作（集群仅贡献+0.05，严格意义上的涌现为零）。

一名全科医生（GP）学员开发了一款医疗问诊游戏（doctorfoo.ai），并对 13 个 AI 模型在 195 次问诊中进行基准测试：所有模型都正确诊断出了每一个病例，但安全行为（发现禁忌处方等危险信号）差异巨大，GPT-6、GPT-6.1 Sol 和 Claude Opus 5.5 表现最佳，而价格几乎无法预测质量。

本文研究 agentic RAG 评测中评估预算在问题数、搜索轨迹和重复读取之间的分配策略，通过 HotpotQA 和 MuSiQue 上的检索-反馈对比，发现更广的问题覆盖在固定 token 预算下能显著降低标准误差，并提出了预算分配的预测模型。

UndoBench 引入了一个基准测试，将工具使用 AI 智能体的任务胜任力与故障恢复能力解耦，覆盖 8 个企业领域的 36 个工作流和 36 种故障场景。研究发现，83.54% 的名义任务完成率掩盖了仅 46.72% 的条件恢复成功率，而盲目重试在 53.33% 的试验中产生了重复副作用。

Microsoft 与 Hugging Face 推出 ThinkingBox，这是一个以终端数据库状态和副作用来对 AI 智能体进行评分的基准，涵盖 507 个有状态业务工作流，每个运行 20 次，现已在 Hugging Face 和 OpenEnv 上线。