标签
一家构建记忆基础设施的公司推出了“glasshouse”，这是一项长期记忆基准测试草案，基于一段涵盖10种语言、长达197万 token 的对话设置了2,847个问题，分别报告17个维度的结果（包括事实更新一致性和冲突解决），不设单一总分，并向智能体记忆社区征求反馈。
LangChain 发布关于 Agent 评估（Agent Evals）的实用指南，建议从真实 trace 中选取 10–20 个失败案例构建小型评估集，结合代码检查与 LLM Judge 逐步完善评估流程。
一位从业者向社区询问，他们如何在部署前后测试能够调用工具的 AI 智能体，并比较了场景测试、以大语言模型作为评判者、工具调用轨迹检查和回归测试套件，同时对测试覆盖率、评判者的可靠性以及非确定性提出了疑问。
论文提出 semCER，一种利用 LLM 评审按严重程度对字符编辑加权的 OCR 评估指标，相比标准 CER 更能贴合人类评分，并在英、越、中等 16 种语言上验证有效，同时发布了 6100 万条已评分编辑数据集与蒸馏打分模型。
MA-Bench 是首个评估大语言模型任务分析（即军事作战筹划）能力的基准：将不完整且相互矛盾的文档材料转化为结构化方案，并依据 1,257 条专家撰写的评分标准进行评判。
该论文提出一种无标签的评分标准（rubric）修复流程：通过跨评审模型的分歧自动定位有争议的评分条款并由编辑模型重写。实验表明该方法提升了评审间一致性（Krippendorff's α 提升约 0.07），但并未提升与人类专家评分的一致性，甚至点估计略低于随机条款编辑对照组。
这篇文章科普了微软研究院的论文《G-Eval：使用 GPT-4 进行与人类判断更一致的自然语言生成评估》，介绍其通过链式思维生成评分清单并结合各分数的概率加权平均，解决大语言模型评分不稳定的问题。
> **演讲总结**：这是作者在 AI Engineer World's Fair 上关于 evals（评估）的演讲总结，记录了如何将一个 LLM 评审器（LLM judge）从完全不可用提升到与人类判断 30 次中有 27 次一致：包括改用点式评分（point-wise scoring）避免偏好偏差、校准上下文（context calibration）、更换模型以及应对谄媚倾向（sycophancy）等步骤。
文章主张评测（evals）是企业成为 AI-native 的最大障碍，并给出了 eval-driven development 的指南：定义好的行为、对 agent 进行测试、将失败案例转化为回归测试，并介绍了 grader、case、run、trace 四个核心概念以及确定性检查、参考答案比对等四种打分方式。
讨论了 LLM 记忆基准测试有多不可靠：同一套答案在 token 重叠 F1 下得分 51.4，而在 LLM 评判者下得分 75.8，分数随评判模型、读取记忆的模型以及运行次数剧烈波动；而且许多结果由厂商自行报告，噪声水平不明。
介绍 Jev 如何作为 RAG 管道中的“裁判”，在检索与生成之间评估候选段落的相关性、可回答性和潜在提示注入，并附上基于 Comet Opik 的开源 Jev-as-a-Judge 项目。
SCOUT 提出了一种两阶段智能体安全验证器，将需要大量推理的评分标准生成与需要大量工具调用的证据收集相结合，用于检测计算机使用智能体中的不安全行为。在 AutoElicit-Bench 上，该方法提升了不安全行为的检测率，并通过测试时反思将不安全执行率从 30.2% 降低至 17.2%。
研究人员提出一个用于评测车载对话助手（ICA）多轮对话能力的自动化黑盒测试框架，采用策略引导的用户模拟器、对抗性策略管理器和两级 LLM 评审器，在工业级 ICA 上验证该方法与人类标注高度一致，并发现 2.96 倍的独特失败类型。
作者在数据集上对Jev裁判器进行了基准测试，通过从人类标注示例中学习，将其校准误差降低了68.1%，提高了生产环境中置信度的对齐性，同时分类准确性没有显著变化。
OSWorld-Pro 提出一个基于过程的基准测试，包含 300 多项任务和 2,800 多个子目标，并以 67,000 多条人工标注为依据，逐步评测计算机使用智能体，而非仅看最终状态结果。它揭示了即使是最先进模型也存在的失败模式——表现最好的 Claude Opus 5 仅得 75.7%，而在 OSWorld 上为 83.4%。
该论文提出Self-Improvement via Fast Tree-search (SIFT)框架，利用LLM作为裁判高效评估编码代理中的自我修改，以更少的CPU时间和API成本实现更好的基准性能。
本文衡量了LLM作为法官面板中的家族条件偏好，发现与候选模型同族的评审者表现出显著的正向偏差，并引入了一个校正估计器来量化四个模型家族的这种效应。
DuplexDrama 是首个合成口语对话数据集，涵盖人物角色、场景、全双工行为、表现力语音和声音事件，旨在通过超过 2,000 小时的音频数据推动全双工对话模型研究。
本研究调查了LLM评审者中基于能力的偏见，并引入了一种校准的加权多数投票集成方法，以在不需要标注数据的情况下提高自动化评估的可靠性。
GAUGE是一个可重用的离线协议，用于衡量在评估面向任务代理时使用LLM-as-a-Judge的有效性，揭示了满足-成功差距，并提出了一种校准方法以提高准确性。