在生产中，89%的代理团队拥有可观测性，但只有52%运行评估——你实际上是如何控制提示变更的？
摘要
一项统计显示，在生产中，89%的代理团队拥有可观测性，但只有52%运行评估，这引发了关于如何控制提示变更的问题。
暂无内容
相似文章
72% 的团队已在生产环境使用代码智能体。但大多数团队无法说明，若深夜 11 点面临关键路径变更，该信任哪一个智能体及其原因。
尽管 72% 的团队已将代码智能体投入生产，但大多数缺乏正式的治理机制或关于智能体可靠性的实证数据。本文主张应以会话级跟踪取代单纯的政策框架，以确保关键部署的可信度。
@bentannyhill: Agent 可观测性是实现目的的手段：让您的 Agent 变得更好。但可观测性和评估工具传统上…
Engine 是一种新工具，它将 Agent 可观测性追踪与自动修复和评估连接起来，为工程团队闭环 Agent 改进流程。
我分析了 50 多个 AI 团队如何调试生产环境中的智能体故障，结果令人意外
基于对 50 多个 AI 团队的访谈，作者指出生产环境中的智能体故障往往源于细微的提示词或配置问题，而非深层模型缺陷。文章主张采用版本控制、A/B 测试和实验跟踪等软件工程实践以提高可靠性。
大多数智能体可观测性感觉像是崩溃录像
作者认为，当前的智能体可观测性提供了行动轨迹，但缺乏运行时对行动为何被允许的合理性说明，这对于涉及金钱、数据或通信的生产部署至关重要。
你们是如何在评估失败后，得到一个能在生产环境中保持稳定的提示修复的？
一场讨论，比较了用于修复提示失败的LLM评估和可观测性工具（LangSmith、Weave、Phoenix、Braintrust、Galileo、Opik），并介绍了一个开源平台，该平台在单个跟踪上整合了从评估到修复的完整循环。