@rohanpaul_ai：Agent 故障往往能通过所有健康检查。一次工具调用打到了错误的数据库区域，返回 200，而用户却得到……

X AI KOLs Timeline 产品
ai-agents observability testing digitalocean debugging agent-safety

摘要

DigitalOcean 推出 Agent Learning Services 与 Agent Data Services，用低成本规则监控线上 AI agent 会话、发现静默失败，并将真实故障自动重放为测试用例，在发布前验证修复效果。

Agent 故障往往能通过所有健康检查。一次工具调用打到了错误的数据库区域，返回 200，而用户得到的是一个更慢、更差的回答。没有任何告警。 DigitalOcean 的新工具会标记出静默失败的 agent 会话，然后在发布前针对修复方案重放这些会话。 因为，agent bug 的线索往往藏在没人能搜索的内容里。 Signals 用低成本的规则（而非 AI 模型）监控每一个线上会话，寻找人类遇到问题的迹象，比如用户反复重复自己的话、要求转人工、或工具被循环重试，然后将会话交给 Simulations，后者用一个模拟用户针对修复后的 agent 重放整个会话，确认整段对话在修复上线前都能正常工作。 在此之前，团队要么花钱让 LLM 给每段对话打分，要么人工阅读对话记录，要么凭想象编造测试用例——而现在，生产环境中的真实故障会自动变成测试集。
查看原文
查看缓存全文

缓存时间: 2026/10/13 01:33

Agent 的故障往往能通过所有健康检查。一次工具调用打到了错误的数据库区域，返回 200，用户得到了更慢、更差的回答——却没有任何告警。

DigitalOcean 推出了新工具，可以标记那些静默失败的 Agent 会话，然后在发布前用修复后的版本对其进行回放验证。

因为，Agent bug 背后的线索，往往藏在没人会去搜索的东西里。

Signals 用低成本的规则（而非 AI 模型）监控每一场实时会话，寻找人类可感知的异常信号——比如用户反复重复同一个问题、要求转人工、或者某个工具陷入循环重试——然后将这些会话交给 Simulations，用一个模拟用户在修复后的 Agent 上回放整场对话，确认整个交互流程正常，再把修复发布上线。

在此之前，团队只能花钱让 LLM 给每段对话打分、人工阅读对话记录、或者凭空想象构造测试用例。而现在，生产环境中的真实故障会自动变成测试集。

DigitalOcean (@digitalocean): 在第一个用户身上就抓住它，而不是等它影响到第四百个用户。

一位新用户绑定银行卡失败，Agent 只说“请稍后再试“，日志里却什么都没有。看一个团队如何利用 Agent Learning Services 和 Agent Data Services（现已上线）找到这个 bug，并赶在其他用户遇到之前修复它。

相似文章

@rohanpaul_ai：这个月人人都发布了常驻型 AI agent。而 agent 一出问题就条件反射般重试。超时，重试。响应被截断，重试。……

X AI KOLs Timeline

Orthogonal 推出了一项服务，帮助常驻型 AI agent 在超时原因不明或响应被截断时，先核查用量再决定是否重试，从而避免浪费付费的工具调用。该服务让 agent 能够自主发现、使用并付费接入多家公司的数据服务。此次发布与 OpenAI 的 Dots 集成一同受到关注，后者用于构建自主生成销售线索的流水线。