标签
CLAP提出了一种面向领域智能体后训练的闭环方法，将含噪业务数据转化为结构化的SFT和偏好样本，并结合奖励/KL诊断、离线门控以及应用链路重放来决定适配器是否发布。在五个制造批次上的实验显示平均增益适度，并强调回归和高KL风险需要集成的数据-训练-评估-发布循环，而非依赖单一评分。
MedEvoEval是一个纵向评估医生代理的框架，它模拟门诊病例，评估代理如何获取证据、使用资源，并通过记忆和反思机制在多个病例中进化。
介绍了SEATauBench，这是首个面向东南亚语言的智能体评估框架，将τ²-Bench适配到中文、越南语、泰语、印尼语和菲律宾语，并揭示了从英语迁移到本地化设置时存在显著的能力差距。
本文讨论了评估基于LLM的智能体执行多步推理的挑战，指出仅对最终输出进行评分是不够的，因为智能体可能走错路径但偶然恢复，并提出了如何在不手动审查的情况下评估轨迹的问题。
本文认为，针对LLM智能体基准测试的聚合得分排行榜未能捕捉到与部署相关的维度，并且表现出排名不稳定性。文章提出根据预测有效性（即样本内排名与样本外排名之间的相关性）来对配置进行排序，并引入了一个十二层级的测量体系以及可证伪的分布外准则。
hermesbench v0.1 是一个新的基准测试，用于评估本地模型在 Hermes Agent 工具调用上的表现。它具有真实的 Agent 框架、确定性验证器和硬件遥测功能。包含 11 个类别的 43 个任务，旨在衡量模型使用 Hermes Agent 的能力。
解释了AI智能体在线评估的概念，即通过在实时流量中运行智能体并随时间追踪其表现来测量性能，与使用固定数据集的离线评估形成对比。
Jugmax 是一款通过分析 AI 智能体的完整执行轨迹（而非仅最终输出）来评估其性能的工具，能够识别低效、错误和浪费的 token。创始人为两个生产环境中的智能体提供免费评估，以验证他们的产品。
介绍XBCP（跨语言BrowseComp-Plus），这是一个用于在跨语言和多语言环境中评估深度研究智能体和检索器的基准。结果表明，当证据与查询语言不同时，性能显著下降，凸显了检索失败以及智能体在整合语言不匹配证据方面的困难。
作者分享了一种使用深度研究代理审查库健康状况的方法，发现最有价值的信号是代理在其来源出现分歧时进行标记，而不是生成精美但带有虚假自信的摘要。Apodex 能够清晰地呈现矛盾，从而更容易判断其可信度。
MTG Bench利用MCP服务器进行牌库操作，评估LLM玩《万智牌》的能力，展示了在复杂游戏动作中的成功与失败。
本文介绍了针对LLM代理的层隔离评估方法，将生产级代理分解为架构层，每层使用确定性无LLM测试框架进行测试。它展示了逐切片基线测试能够定位聚合指标所掩盖的性能回归，并通过跨多个租户的受控回归注入进行了验证。
本文介绍了OfficeEval，一个基于中国全国计算机等级考试（NCRE）的基准测试，用于评估大语言模型代理在复杂办公自动化任务上的表现。前沿模型在单轮交互中最高得分36.6%，在使用智能体系统时达到68.8%，远低于人类水平。
本文介绍了STAGE-Claw，一个用于在基于状态的计算环境中构建和评估真实个人智能体场景的自动化框架，实现了对由大语言模型驱动的智能体的可扩展、基于状态的评估。
Agent Arena 是一个新的排行榜，它通过任务成功、可操控性和恢复等信号评估人工智能模型在编码、研究、文件分析等真实世界智能体任务上的表现，其中 GPT-5.5 High 领先。
一项新基准 FML-Bench 揭示，近期 MLE-Bench 分数的提升主要归因于更好的基础模型和增加的搜索预算，而非算法进步。
本文介绍了因果敏感性得分（CSS），一种干预性指标，用于评估临床大语言模型和智能体在患者输入沿临床意义维度变化时，是否适当地更新其建议。该指标揭示了标准覆盖度指标未能捕捉的隐藏能力画像，暴露了安全盲点和结构性响应能力缺陷。
ToolFailBench，一个用于评估工具使用型代理的诊断基准，已被两个 ICML 2026 研讨会（FAGEN 和 AIWILD）接收。
MCP-Persona是一种基准测试，用于评估LLM智能体在与个人账户和本地数据库交互的个性化工具上的表现。实验表明，最先进的智能体在个性化工具使用方面面临显著挑战。
Agent Judge 是一种智能体评估工具，通过处理长轨迹、对照事实源系统验证状态化动作以及适应行为变化，克服了简单 LLM 评判器在长周期智能体评估中的局限性。