标签
作者介绍了一种方法，用于判断智能体的重复任务何时可以安全地从前沿模型迁移到更便宜的模型，方法包括使用留出的历史运行数据、人工审核以及一键回滚，同时征询对评估方法的批评意见，并披露自己在该领域开发 Operant 项目。
Overmind 用用户自身的生产环境追踪数据微调小型开源模型，并在基于同一批真实任务构建的评测集上将其与前沿模型对比，报告幻觉条款减少 20-30 倍，法律合同逐字引用准确率提升 7 倍。
TasteVal 报告指出，自 2025 年 12 月以来，前沿 AI 模型的实验研究品味大约每 3 个月翻一番，其中 Opus 5.5 已经超过了专家级人类基线——这一指标是预测编码自动化后 ASI 可能以多快速度实现的关键因素。
Omar Santos 提供了一份指南，介绍如何将 TypeSafe AI 的决策模型 Jev 用作 LLM judge 来评估智能体。他展示了相比只看最终回复，读取完整轨迹（工具调用、结果、错误）如何提升生产级评估与监控系统的可靠性和一致性。
Aaron Levie 认为，智能体采用的主要瓶颈在于难以在真实工作环境中测试和调优智能体，并介绍了 Era 推出的一个覆盖 Salesforce、Slack、Jira、Zendesk、Gong 和 Deel 的免费模拟企业环境。
文章主张评测（evals）是企业成为 AI-native 的最大障碍，并给出了 eval-driven development 的指南：定义好的行为、对 agent 进行测试、将失败案例转化为回归测试，并介绍了 grader、case、run、trace 四个核心概念以及确定性检查、参考答案比对等四种打分方式。
G2i.ai CEO Gabbe Greenberg 宣布公司本月将招聘 50 名 Staff 软件工程师，与前沿 AI 实验室合作进行评测（evals）和训练数据集构建，远程工作，时薪 $200–$300。G2i 将自己定位为 AI 训练的工程层，为顶尖实验室构建强化学习（RL）环境和精选评测集。
一位社区成员开发了 RangeBench，这是一个采用 MIT 许可的网络安全基准测试框架：模型会在隔离的 Docker 沙箱中获得一个 shell，需要在 pwn、web、加密、逆向、取证以及多阶段靶场等任务中获取 flag。本地运行的 Qwen3.8 27B 首次尝试得分 28.1%，在 pwn 类任务上得分为 0%，而 MiMo 2.6 Flash 和 GPT-6 Luna 等低成本 API 模型分别达到了 73.7% 和 90.9%，凸显了日益强大的黑客模型所带来的现实风险。
LitmusAI 是一个开源工具，用于在部署前测试 AI Agent，并在生产环境中持续监控它们。支持用 YAML/Python 编写测试用例，涵盖正确性、一致性、延迟和 token 成本；还提供实时流量监控，可检测提示词注入和策略违规，并通过 Webhook 发送告警。
作者认为，追求 100% 的 AI 对齐就像追求 100% 测试覆盖的软件一样荒谬，因为验证永远只能覆盖你实际运行的评测。通过测试（或评测）只能证明没有发现错误，而不能证明不存在未经测试的失败模式。
安全人工智能中心（Center for AI Safety）推出了 CheatBench——一个公开基准测试，用于衡量 AI 智能体在数学研究、编程和知识工作中是否存在奖励作弊行为，其通过将高难度任务与可作弊的机会相结合进行测试。该基准支持跨模型对比，以研究并减少作弊行为，为智能体承担更大责任奠定基础。
本文认为，OpenAI的Agents API并未使智能体框架过时，理由包括模型可移植性、状态控制、故障处理以及生产系统中的评估需求。
本文描述了一个项目，通过使用持续预训练（CPT）和RAG进行领域特定知识训练本地LLM的实验，并包含全面的评估和发现。
本文介绍了 Jev 的几个颠覆性用例，这个工具可应用于 AI 评估、语音 AI、工作流、合成角色等，为各种 AI 任务提供快速且可量化的解决方案。
作者修订了编码代理评估的成功标准，从要求三次完美的88/88运行改为每个案例必须在三次运行中至少通过两次的标准，以减少随机性影响并提高稳定性。
Mike Taylor 宣布了他担任 @every 评估主管的新职位，这个角色被 @danshipper 强调为对AI评估具有革命性。
一套面向AI工程师的免费、无需框架的Colab笔记本，用于学习应用LLM技术栈，包括RAG、代理和评估。
两场演讲和一篇博客文章认为，在生产环境中拥有AI智能时，反馈循环和框架工程比模型权重更重要，并强调了上下文管理和成本考虑。
这篇文章认为，AI代理采用的主要限制不是能力，而是验证，包括公司如何定义质量、评估持续表现以及整合反馈。文章探讨了隐性标准、公司特定评估、反馈所有权和自我改进循环等挑战。
Jerry Liu 推广 LlamaParse 和 LlamaAgents，用于大规模文档提取，强调 LLM 评估和爬山优化以提高准确性和成本效益。他还将 FDE 工作与评估和 RL 环境联系起来。