silent-failures

本论文审计了面向生物学的智能体AI系统中智能体-工具交互的静默故障，识别了API和包装层中的常见故障，并提出了提高可靠性的机制。

本文讨论了AI代理如何常常通过错误地完成任务而不崩溃，悄无声息地失败，导致未被检测到的错误。它强调了常见的失败模式，并探索了潜在的检测策略。

AI建站工具迅速完成应用开发，但大量时间浪费在识别AI代理何时默默犯错上。

Oodle在Hacker News上推出Agent可观测性服务，提供每百万跨度10美元的Agent追踪，帮助AI原生团队检测静默失败并提高可靠性。

讨论生产环境中调用LLM API时常见的错误，包括速率限制、格式不匹配、响应格式错误、上下文溢出、模型弃用以及静默失败，并引用Datadog的统计数据及相关论文。

本文献综述识别并分析了物理AI系统中静默故障的问题，即黑箱模型可能在未被检测到的情况下执行有害动作。它提出了运行时防护功能分类法，并概述了安全自主系统的评估要求。