标签
一位开发者讨论了Anthropic如何通过构建健壮的评估体系和并行运行系统来验证用Rust重写后端的正确性，他认为如何约束非确定性的AI工具是当前AI辅助编程的核心挑战。
作者与 Antaripa Saha 合作发布了一篇关于 AI 代理调试的深度教程，讲解如何阅读代理追踪记录、定位失败原因，并将失败案例转化为评估测试，以提升生产环境的可靠性。
作者指出 AI 功能在 demo 阶段表现优异却在生产环境中失灵的常见原因：示例是由人工挑选的理想输入。建议在写第一个 prompt 前先收集 50-100 个真实（尤其是糟糕的）输入并定义理想答案，用作回归评测集。
Anthropic 的应用 AI 团队发布指南，指出许多企业的多智能体设计只是照搬组织架构图（康威定律），并建议先建立端到端评测，再逐个合并子智能体，仅在合并后性能下降时才保留子智能体。
LangChain CEO Harrison Chase 在 Interrupt London 大会上的演讲将智能体拆解为模型、框架和上下文三个部分，展示了如何分别通过 LangSmith Fine-Tuning、LangSmith Engine 和记忆工具来提升每一层——最后提出了一个北极星愿景：一个能自己发现错误、自己编写评估用例并提出修复方案的智能体。
该论文研究前沿语言模型的概率判断是否满足全概率律（含因果 do-演算的后门调整），发现 GPT-6.1 Sol 和 Claude Opus 5.5 最一致，而推理长度与一致性无关，且一致性残差可在无真值情况下标记不可靠回答。
Arize Phoenix evals (TS) 现在支持在决策模型上运行任意分类评估器（例如通过 OpenAI Decisions API 调用的 gpt-6-luna），每个选项都会返回标签和概率，且每次调用都会被追踪为一个决策 span。
一位实践者分享了将 agentic 工作流从演示环境推向生产环境的惨痛教训，重点包括静默失败的工具调用、长链路中的目标漂移、缺失的评测、检索问题比模型质量更关键，以及人工审批比自主性更有价值。
一位经验丰富的后端/分布式系统工程师认为，AI 智能体在生产环境中的故障通常源于管道层面的问题——非幂等的工具调用、缺失的审批步骤、无上限的成本以及糟糕的状态持久化——而不是模型本身的局限，并分享了实用的加固技巧。
作者认为，在AI驱动的软件开发中，评测系统（evals）正在取代传统自动化测试，成为提升开发效率和系统质量的关键。他提到Claude Code团队和Google的harness2等大厂都在加大这一领域的投入。
一篇关于企业AI落地策略的观点帖，主张与其花重金让AI专家学习业务，不如让业务运营人员快速掌握AI执行能力，并分享了从工作流操作者入手实施AI转型的实践经验。
Devin 现在可以自动化 QA 评估：读取真实的生产环境对话，在完整复制的环境中复现智能体的失败案例，并将这些案例转化为评估测试，以 PR 的形式提交供人工审核。
Rox 介绍了「Living Evals」：由 Devin 每周基于真实生产流量自动复现失败案例并生成评测集，团队只需审查 PR，评测套件已覆盖 72% 的真实使用场景。
Arize 的 Nancy 与 Phoenix 工程师 Elizabeth 在首场 AI Builder 网络研讨会上演示如何用开源框架 Harbor 在沙箱中对 AI agent 和工具做离线基准测试，并通过 Arize Phoenix 插件记录、版本化并比较评分、错误与追踪结果。
Secludy 发布了「谁在出售数据」免费目录，收录了 159 家向 AI 开发商出售训练数据、强化学习环境和评测的公司。每条信息均附有来源与核查日期，未知信息会明确标注，而非猜测。
作者开源了 agent-engineer 插件，适用于 Claude Code、Codex CLI、Cursor 等工具，包含 11 个技能、4 个子代理和 5 个钩子；盲测 A/B 实验显示，Claude Code（Opus 5.5）在使用该插件后，任务需求满足率从 34% 提升到 53%。
DigitalOcean 推出 Signals（智能体学习服务与智能体数据服务），可从生产环境的智能体轨迹中自动标记失败会话并一键转化为评测集，在真实运行环境中回放验证修复效果。
讨论随着AI代理的普及，产品信息与质量评价将演变为新的SEO/AEO博弈场，公司会针对代理偏好的评测、基准与人类偏好进行优化，而真正客观的评测难以实现。
LlamaIndex CEO Jerry Liu 认为，AI 开发正在从手写确定性或智能体工作流，转向定义评测并在此基础上进行优化；智能体接口也将随之演化，以承载目标和评测驱动的指令。
> **演讲总结**：这是作者在 AI Engineer World's Fair 上关于 evals（评估）的演讲总结，记录了如何将一个 LLM 评审器（LLM judge）从完全不可用提升到与人类判断 30 次中有 27 次一致：包括改用点式评分（point-wise scoring）避免偏好偏差、校准上下文（context calibration）、更换模型以及应对谄媚倾向（sycophancy）等步骤。