标签
一篇关于在生产环境中诊断 AI agent 故障根因之困难的实践讨论:即使已有 traces、工具调用记录和 prompt/响应日志,仍难以定位问题,以及如何在 agent 的步骤历史中回溯错误来源。
作者与 Antaripa Saha 合作发布了一篇关于 AI 代理调试的深度教程,讲解如何阅读代理追踪记录、定位失败原因,并将失败案例转化为评估测试,以提升生产环境的可靠性。
Arize 将 OpenInference 捐赠给 OpenTelemetry,Dynatrace 的 Observation Deck 节目邀请 Arize 的 Mickey King 与 OTel 语义约定维护者 Ludmila Molkova,讨论这一捐赠对 GenAI 可观测性走向厂商中立标准的意义。
作者探索了 OpenTelemetry 与 AI 代理的结合,基于 OpenAI Agents SDK 构建了一个 NBA 演示应用,并接入 OTel 进行追踪和指标采集,同时讨论了当前标准仍在发展中所带来的取舍(如防护机制尚未获得可观测性支持)。
Arize Phoenix evals (TS) 现在支持在决策模型上运行任意分类评估器(例如通过 OpenAI Decisions API 调用的 gpt-6-luna),每个选项都会返回标签和概率,且每次调用都会被追踪为一个决策 span。
neatroots 是一款开源、本地优先的应用,面向构建 AI agent 的开发者,提供链路收集、运行检查、多种运行视图和重放控制,用于调试和改进 agent 运行。它通过 MCP 工具与编码 agent 集成,并支持 OpenTelemetry 及多种链路输入方式。
Anthropic 宣布 Claude Platform 的 Managed Agents、Messages API 和 Claude SDKs 支持发送 OpenTelemetry 追踪数据到 Arize Phoenix、Grafana Cloud、Datadog 等任意 OTel 观测工具,目前处于公测阶段。
Claude Platform 跟踪数据现可通过 OpenTelemetry 导出至 LangSmith,让用户能够检查 Claude Managed Agents 会话和 Messages API 请求的每个步骤。该功能现已推出公开测试版,支持多种导出方式,包括服务器端目标、Claude SDK 和 LangSmith SDK 封装器。
NestJS Observe 推出零配置可观测性方案,由 NestJS 创始人打造,只需添加 SDK 和密钥即可自动追踪控制器、提供者、数据库查询、错误、任务、日志与运行时指标,每月 30 万事件内免费。
用户转发并评论了 LangChain 在 Interrupt 大会上宣布的 LangSmith AI Search 功能,认为用自然语言搜索追踪记录能大幅节省团队排查智能体故障的时间。
culpert 是一个实验性的 Rust 堆分配分析器,能将采样到的分配归属到 span,导出 pprof 兼容报告并在 CI 中检测分配回归,由 Cloudflare 开发并已在生产前捕获多个内存泄漏问题。
LangChain 分享的演讲:每个 Agent 构建者都应能回答三个问题——Agent 在哪里失败、如何可靠复现失败、以及如何让它不再失败,介绍了通过生产环境追踪、专门的评判模型、以及"世界规范"模拟环境来系统化改进 Agent 的方法。
OpenTelemetry 官方博客介绍了如何从产品设计之初就实现 OTel 原生支持,让用户可以将日志、追踪和指标导出到任意可观测性后端,避免供应商锁定。文章概述了良好的遥测系统应具备的特性,包括符合语义约定、保留丰富上下文以及通过 OTLP 协议实现标准化导出。
Arize 的开源团队分享了他们如何使用 Harbor 沙盒和 Arize Phoenix 跟踪来对 AI 编码智能体(PXI、Claude Code、Codex)进行基准测试,结果表明,即便智能体都成功完成了任务,它们也展现出截然不同的工具调用、延迟和效率模式。
LangChain 推出了 Engine,它通过读取 traces 和代码仓库来了解你的 Agent 的工作原理,然后针对 Agent 特有的薄弱环节进行测试,例如幻觉和系统提示词违规,并返回一份已验证的问题清单,供你在这些问题影响用户之前加以修复。
这篇文章讨论了在使用AI agent traces时的常见错误,并提供了正确实施的建议。
LangChain 在 LangSmith 中引入 Trajectories,这是一种按时间顺序查看代理会话的视图,通过聚合来自人类、AI 和工具的消息来简化调试,以便更容易地导航和分析。
Enzo Health 在符合 HIPAA 的医疗环境中使用 LangSmith 跟踪和评估其临床 AI 管道,公司正在招聘工程师以推动临床工作流程中的 AI 应用。