SearchAuditor：长时程搜索智能体故障的审计与归因

arXiv:2608.05212v1 公告类型：新 摘要：深度搜索智能体通过长时间跨度的网络交互来应对具有挑战性的问题，这一过程既复杂又脆弱：小的推理错误可能会在漫长而嘈杂的轨迹中传播，最终形成流畅但错误的答案。诊断此类故障十分困难，需要人工检查极其冗长的执行轨迹，这可能超出人类的能力范围。为此，我们引入了SearchAuditBench，一个评估LLM审计员能否定位、归因并修复这些故障的基准，从而减轻人类负担。SearchAuditBench包含1,243条失败轨迹，平均每条轨迹包含73.1条消息和65.1K个token，这些轨迹来自八个开源权重模型在五个深度搜索基准上的运行结果，每条轨迹都有专家标注的关键错误步骤、搜索特定的根本原因以及带评分标准的参考修复方案。我们进一步提出了SearchAuditor，一种多视角审计框架，通过基于证据的裁决来有效定位、归因并修复搜索智能体的故障。实验结果表明，即使是最强的基线方法，在使用GPT-5.5等前沿模型驱动时，端到端通过率也仅为26.6%。相比之下，我们的SearchAuditor在不同前沿模型上均持续优于所有基线，实现了32.3%的端到端通过率，并且使用其修复方案恢复失败的运行，能够帮助智能体更好地从错误中恢复。

# 长程搜索智能体中的失败审计与归因

来源：https://arxiv.org/html/2608.05212

Zhixiang Liang\equalcontrib1,2, Yifei Liu\equalcontrib2, Yidan Huang2, Haozhe Zhao1, Beichen Huang1, Jiaqi Wang2, Nan Duan2, Qiong Cao2\corresponding

###### 摘要

深度搜索智能体通过长程网络交互来解答具有挑战性的问题，这一过程既复杂又脆弱：微小的推理错误可能会沿着冗长而嘈杂的轨迹传播，最终形成流畅但错误的答案。