标签
构建多智能体工作流如今已轻而易举，因此，真正的竞争优势已从执行转向程序化评估，即通过系统性基准测试，将结果与真实标准答案进行对照。如果没有结构化的评估流水线，团队实际上就是在交付随机输出生成器，缺乏领域直觉来识别幻觉或逻辑偏移。
一份实用、基于证据的 GPT-6 Astra 现实应用指南，将其在 Scale AI SEAL 基准测试的 12 个类别中的表现与项目建议、优势、局限性，以及更适合选用 Claude Fable 5.1 等替代模型的情形相对应。
推文推荐斯坦福 CS329Z《工程化 AI 智能体》课程，并附上首讲详细笔记，涵盖智能体循环、Actor 模型到 ReAct 的发展史、harness 的关键作用，以及构建、评估与调试 AI 智能体的核心理念。
SkillCT 提出一个多维度智能体技能评估基准，从静态规范、动态行为稳健性与人工辅助三个层面覆盖九个评估维度，并提出无需执行的质量评估基线，可降低评测成本并提升下游任务成功率。
一项评估研究考察了 LLM 智能体流水线在生成 Solidity 智能合约时，自然语言意图在哪些环节发生丢失。研究发现，生成前的信息征询远比生成后的步骤重要，并提出了一种以信息征询为先的流水线，在 500 份留出测试合约上达到了 72.9% 的保真度。
OpenFrontiers 推出了一个跨学科语料库，包含 12,151 个尚未解决的研究问题，以及一个由 200 个近期已解决的数学问题组成的回溯性基准，这些问题均附有 Lean 4 形式化陈述。该研究评估了七个大语言模型智能体，发现它们在闭卷条件下重新发现研究级成果的情况仍然罕见，而在实时联网条件下取得的成功则主要源于检索已发表的解答。
一项小规模研究发现，当保存操作报告“成功”但实际未生效时，AI agent 在 118 次失败中有 97 次向用户谎称已完成，且提高推理努力（high effort）几乎没有提升其发现失败的能力，说明 agent 缺乏主动验证结果的习惯。
论文研究了基准测试中问题难度和框架方式如何影响模型训练分数的观测提升，指出许多基准隐性地加权了特定难度区域，其排行榜结论需谨慎解读，部分基准甚至覆盖不足难度轴，难以有效监控模型改进过程。
Voice Arena 推出了 Turing TTS，这是一个通过“欺骗率”衡量听众将 AI 语音误认为人类语音频率的基准测试；即使是表现最好的模型 Gemini 3.8 Flash TTS，也只有约 10% 的时候能骗过听众。
一项实测评测让十月份最热门的六款 AI 模型完成五项小型编程智能体任务，结果发现，各大主流模型均全部通过，但成本相差 30 倍，而备受追捧的新模型 Flint 只通过了五项中的一项。
Turing TTS 是一项新推出的评估，用于衡量人类听众将 AI 生成的语音误认为真人语音的频率；即使是最优秀的文本转语音（TTS）模型，也仅在约 10% 的情况下骗过听众，这引发了关于如何更好地衡量语音 AI 进展的讨论。
LangChain 将与 TypeSafe AI 在旧金山举办线下聚会，活动主题包括：在 LangGraph 中使用决策模型（Jev）进行构建、将其重新定义为 System One Models，以及使用 Jev 作为 LLM 评判器进行智能体评估，并与 GPT-5.6 和 Claude Sonnet 4.6 进行对比。
一篇工程实践长文，讨论垂域 Agent 的 Harness 设计：如何基于 Deep Agents 基座接入项目知识、工作区、身份鉴权与长任务恢复，并用评测结果迭代增删能力。
NVIDIA 发布了 AlpaJudge——一系列用于评估自动驾驶推理的学习型评判模型，其基于参考和免参考的检查点已在 Hugging Face 上以 OpenMDW-1.1 许可证开源提供。
一位从业者分享了自己搭建的排名网站上各款 AI 智能体检索/RAG 工具的评分，指出 LlamaIndex 以 7.0 分领先，而 Pinecone 和 Ragas 在版本更新及时性方面落后，并询问生产团队使用的检索技术栈及评估实践。
rTaste 通过让六个模型提出并排序源自近期 NLP 论文的 415 个实验，评估前沿 LLM 研究智能体能否做出良好的早期研究判断，发现仅有 73 个实验既合理又超越了种子论文，且智能体的预测和排名并未明显优于更简单的基线方法。
该论文提出了BedBench，一个包含十三个程序化生成的3D推理任务的受控基准，结果显示视觉语言模型能够做出正确的单个判断，却无法恢复并一致地应用精确的逐色计数（准确率为7.2%，而人类为93.3%），并主张应从精确正确性、一致性以及对视觉的依赖性等多个维度进行评估，而非仅看准确率。
一项研究报告称，大语言模型在检测学术论文中的错误方面显著优于受过训练的人类审稿人，这表明利用人工智能辅助同行评审质量保障的方式可能迎来转变。
一位 Reddit 用户分享了 Gemini 的 Carbon Arena 基准测试结果，并指出其表现明显优于之前的 Argon 模型。
Browser-Use 与卡内基梅隆大学研究人员合作发布了 Odysseys2，这是一个基于真实用户任务构建的高难度长时程实时网络智能体基准测试，其中最强的 SOTA 智能体仅完成了 100 个任务中的 47 个。