reliability

一个关于构建真正在生产环境中运行的自主代理时所遇关键失败的实际记录，以及针对每个失败的解决方案。

本文讨论了AI代理的下一个预期失败模式，它可能比单一的糟糕提示更复杂。

Uber将在使用超过12年后弃用PagerDuty，原因在于报警可靠性问题，这凸显了基础设施工具可靠性的重要性。

ProWAFT是一种主动式工作负载感知容错框架，用于基于FPGA的CNN加速器，通过部分重配置选择性应用三模冗余（TMR），以最小化延迟、能耗和可靠性风险的综合目标。

本文研究了在生物医学领域对混合专家（MoE）模型进行领域特定专家剪枝对效用和事实可靠性的影响。研究发现，适度剪枝能保持领域内效用且不会立即导致可靠性下降，但极端剪枝会增加幻觉风险，且跨领域设置下的泛化能力会迅速恶化。

文章认为，诊断——用操作术语解释代理为何失败以及接下来安全做什么——是生产代理栈中缺失的一等技能，比让代理听起来聪明更重要。

作者描述构建了一个‘门控’，记录工具调用并验证AI智能体回答中的声明是否对应实际日志条目，迫使智能体展示其工作过程，从而减少幻觉回答。

AGVBench是一个面向可靠性的静脉识别数据增强基准测试，评估了多个数据集和骨干网络上的30种增强策略，揭示了准确性与安全性之间的解耦。

Mycelium 是一个实验性的开源运行时防护，可在 AI 代理的请求到达 LLM 之前防止许多可预见的故障，旨在提高生产环境中的可靠性。

分析了数百次云服务中断，总结出提高可靠性的经验教训，并理解云计算为何会失败。

本文审计了针对编码代理的三个性能优化基准（GSO、SWE-Perf、SWE-efficiency），发现运行时不稳定、评分规则和任务覆盖率显著影响可靠性，并且许多任务已经至少有一个公开提交解决了。

一位开发者认为，AI模型周围的框架（评审、脚手架）比模型本身更重要，并分享了一个例子：一个27B模型在优秀评审的帮助下变得可用于编码工作。

文章认为，对AI代理的评估的可靠性仅取决于背后意图的明确性，指出传统软件工程在需求与问责方面的挑战在自主代理的背景下被加剧。它质疑在那些设计、测试和负责代理行为的人之间存在不一致时，如何分配责任。

本文探讨了AI对世界杯的预测究竟是准确无误，还是仅仅反映了确认偏误。

本文首次对低代码自动化平台中的LLM代理工作流进行了大规模实证研究，分析了超过6000个n8n工作流，考察了任务分布、结构模式、可靠性机制和自主性水平。

本文研究了多个AI智能体之间推理交换如何提高准确性，但也带来了错误传播的风险，提出了一种运行时监控框架以防止此类传播。

探讨了生产环境中的AI代理在使用多个工具控制真实设备时用来避免幻觉的技术。

本文提出了一种符号反馈驱动的迭代自我改进框架，以提高大语言模型在长周期规划任务中的鲁棒性和可靠性。该方法利用自然语言提示、符号验证器和计划识别器来增强可行性与正确性。

宣布2026年AGI峰会在旧金山举行，这是一场大型AI活动，将有15000名参会者、200多位来自OpenAI、Anthropic、Google DeepMind、BlackRock等机构的演讲者，并设有由a16z和Two Sigma支持的可靠性专题。

一篇多推文分析概述了约15篇智能体循环论文，得出结论：预测成功的关键因素是验证器，而非模型本身。示例表明，稳健、不可被博弈的检查（如编译器、测试、可验证奖励）能显著提升性能，而失败则源于缺乏此类验证器或存在被博弈的漏洞。