标签
这篇文章推荐关注AI Scientist，并讨论研究代理如何通过类比模糊测试来学习失败，从而绘制未知地图并指导后续实验。
ComponentBench 引入了一个基准和诊断管道，用于评估计算机使用代理在现代网页用户界面中的组件级交互，通过关注现实、短暂的交互来诊断跨模型的故障，从而填补当前评估方法的空白。
该立场论文认为，基于LLM的多智能体系统的故障本质上是并发控制问题，并主张将显式并发控制机制作为核心设计关切优先考虑。
作者分析了155个AI智能体任务，发现大多数故障源于基础设施问题，如超时和虚假成功信号，而非模型错误，从而提出了基于效果断言和使用多条验证路径等实践方法。
本文介绍了AutoResearchEval，一个用于自动化科学研究中AI智能体的评估框架，揭示了元认知能力的关键缺失作为跨模型的反复失败模式。
并行运行11个研究代理进行数据扫描，将处理时间减半，但暴露了空白简报和API速率限制等失败，强调编排和验证比使用具体工具更为关键。
一位前员工回顾了福报云（阿里云）2023年11月12日的严重故障，并称2026年7月26日菊花云（华为云）的故障规模是其百倍以上，涉及数百万实例被锁停，凸显云厂商在熔断和人工确认机制上的缺失。
一项关于多页视觉丰富文档理解（MP-VRDU）失败的实证归因研究，隔离了表示、选择与推理三种失败模式，并为在固定计算预算下构建此类系统提供了指导。
本文介绍了SearchAuditBench，这是一个包含1,243条带有专家标注的失败长时程搜索智能体轨迹的基准测试，以及SearchAuditor，一个从多视角进行审计的框架，用于定位、归因并修复智能体故障。实验表明，SearchAuditor优于基线方法，在使用GPT-5.5等前沿模型时，端到端通过率达到32.3%。
本文提出了一个与模型无关的框架，用于多模态临床AI中的逐模态失败分析，以区分在丢弃某个模态时出现的显性失败与隐性失败。该框架在植入的ground truth上进行了验证，并应用于EchoJEPA和HuBERT-ECG嵌入进行LVEF预测，结果表明丢弃echo后误差几乎翻倍。
本文研究了关于4位权重量化对LLM智能体几乎无损的说法，表明虽然整体基准分数持平，但量化放大了现有的工具调用失败（例如幻觉），这些失败被基准的误差预算所掩盖。作者建议报告每通道错误率以及在缩小预算下的成功率，以揭示被掩盖的损害。
本文强调了AI代理无意中修改或部署真实基础设施这一反复出现的问题，并引发了一场关于应在故障发生前捕捉哪些类型失败的讨论。
作者认为，预训练的LLMs在真实的公司工作中失败，是因为它们缺少一个类似hippocampus的快速学习系统来捕捉具体、分散的工作流程，这与人类大脑的互补学习系统不同。他们提出，将工作片段整合为经过批准、有版本控制的程序，并辅以治理，可能是一个解决方案。
分析 LLM 智能体中情景记忆与程序性记忆之间的差距，引用浙江大学和阿里巴巴的一篇新论文 (Memp)，该论文从智能体轨迹中构建程序性记忆，并利用失败信号修正存储的程序。
AgentDebugX 是一个面向 LLM Agent 的开源调试框架，将故障调试组织为检测、归因、恢复和重试的闭环。其核心组件 DeepDebug 在基准测试中实现了强大的归因准确性和修复能力。
讨论了即使是一个高能力AI智能体，如果其底层运行事实薄弱，也可能在生产中失败，这凸显了实际部署中的挑战。
本文综合了2023-2026年间27篇基准测试、分类学和审计论文，形成了一个统一的LLM代理局限性分类体系，识别出六大失败集群，包括工具调用错误、规划失败、长期退化、多代理协调问题、安全性问题以及测量有效性问题。
一位审计员发现，自主研究代理发布的32项“发现”中，按表述没有一项是新颖的，主要问题在于过度贴标签而非测量错误。
文章认为，诊断——用操作术语解释代理为何失败以及接下来安全做什么——是生产代理栈中缺失的一等技能，比让代理听起来聪明更重要。