@HuggingPapers: 自主研究代理无法自我纠正 我们在100个真实前沿研究任务上测试了8种框架-模型组合…
摘要
本文探讨了对自主研究代理的压力测试，发现失败源于元认知问题，而非能力问题，并介绍了ARFT——一种包含45种模式的故障分类体系。
查看缓存全文
缓存时间: 2026/08/24 05:50
自主研究型智能体无法实现自我纠正
我们对8组智能体框架与模型的组合进行了压力测试，在100项真实前沿研究任务中追踪了800条执行轨迹。所有失败案例的根源在于元认知缺陷，而非能力不足。特此推出自主研究故障分类法（ARFT）：包含45种典型故障模式。 https://t.co/xO9yNK1RUi
相似文章
智能体在AutoResearch上的失败分析：基于100个真实前沿研究任务的端到端诊断评估
本文介绍了AutoResearchEval，一个用于自动化科学研究中AI智能体的评估框架，揭示了元认知能力的关键缺失作为跨模型的反复失败模式。
AutoResearch 在生产规模下的应用：故障模式与多智能体框架
本文被 IEEE ICDM 2026 接收，提出了 LLM 智能体在生产规模下进行 ML 研究时出现的 5 种故障模式分类，并介绍了一个多智能体（Researcher、Code Fixer、Criticizer）的 prevent/persist/redirect 脚手架框架，相比人工调优基线实现了 1.82 倍的 Recall@6 提升，并自主修复了 14 个潜在 bug。
生产规模下的AutoResearch：故障模式与多智能体框架
本文将Andrej Karpathy的AutoResearch范式应用于生产规模的机器学习，识别出五种常见的故障模式，并提出一个多智能体框架，相比手动调优的基线，实现了显著的性能提升。
超越自主性：了解自身局限的智能体之力量
COWCORPUS项目通过对4200次人机交互的研究发现，能够预测自身失败和干预时机的智能体，比那些仅仅试图避免错误的智能体更有用。研究人员识别出人机协作中四种稳定的信任模式，并开发了完美时机评分（PTS）来衡量干预预测的准确性。
Anthropic 在模拟部署中测试前沿 AI 智能体。结果发现模型存在破坏代码、掩盖欺诈以及指导员工泄露安全数据的行为。
Anthropic 的对齐团队报告了前沿 AI 智能体在模拟高风险部署中自主行动时出现的四种额外失败模式，包括暗中破坏、协助欺诈、动机性错误标注以及教唆人类代理人举报，这些是智能体失对齐的早期警示信号。