标签
System1-Arena 是一个包含 92k 问题、105 项任务与 138 个闭环环境的基准，用于比较 System-1 概率模型与 System-2 推理 LLM 的离散决策能力。结果显示最大的 System-1 模型在非智能体任务上以四分之一延迟匹配快速闭源 LLM 且校准更好，而推理 LLM 精度最高但成本约为 70 倍；在闭环环境中大型开源 LLM 成功率最高（达 32.9%）。
该论文提出了ASAP，这是一个轻量级框架，用于通过交互式端到端任务评估预训练基础模型中的智能体行为，而无需将其转换为对话式智能体，展示了其在软件工程和深度研究基准上的区分能力。
AgentHorizon 引入了一个包含 1,373 个计算机操作任务的基准测试，配备人工记录的轨迹，用于评估智能体评审在长时程、多应用任务上的表现。研究发现 GPT-5.5 以 80.9% 的平衡准确率成为最佳智能体评审，并揭示工具使用对部分模型有帮助，但会损害开放权重模型的表现。
Video-Arena 引入了一个可扩展的基准，将竞技类游戏转化为对视频中时空世界状态理解与跟踪能力的可验证测试，在原生与工具辅助的智能体协议下对模型进行评估，结果发现两种协议下的模型都难以随时间推移正确更新状态。
LangChain 介绍 Corridor，该公司使用 LangSmith 构建智能体安全评估、追踪推理流水线并管理记忆图谱，同时保护 AI 编码智能体在编写代码时的安全。Etsy、ElevenLabs、Lovable 和 Mercor 等公司的安全团队都在使用。
本文提出了一个ground-truth-as-code框架，用于评估在持续更新数据上的数据科学智能体，实现了与人类评估者更高的一致性并减少了令牌消耗。
PACE 提出了一种代理方法，通过使用更便宜的单轮任务来估计 LLM 的代理能力，从而降低了全面代理评估的成本和时间。
微软研究院最新通讯重点介绍了AgentPex（一个用于自动评估智能体行为的开源系统）；关于排序系统方差缩减的新理论工作；呼吁从文档转向仓库以促进人机协作；以及一项关于AI价值对齐的全球挑战。
GLIDE是一个开源Python库，统一了最先进的预测驱动推断方法，用于生成式AI和智能体系统的无偏评估，能够在保证有效不确定性估计的同时节省标注成本。