@omarsar0: UC Berkeley 关于扩展研究型智能体的精彩论文。（收藏一下）他们提出了一种出人意料又有趣的扩展方…

X AI KOLs Timeline 论文
llm-agents automated-research scaling search forgetting multi-agent

摘要

UC Berkeley 的研究者发现，当研究型智能体固守自身历史时，扩展 LLM 研究智能体会陷入停滞；他们提出定期丢弃会话状态、从最优候选重新开始的「遗忘」方法，在相同预算下相比并行智能体可提升多达 15%，相比单个智能体可提升 39%。

UC Berkeley 关于扩展研究型智能体的一篇精彩论文。 （收藏一下） 他们提出了一种出人意料又有趣的用智能体扩展自动化研究的方式。 常见的做法是让研究型智能体保留完整的历史记录，并在此基础上不断迭代来完成任务。一段时间后，每个智能体都会锚定在自己过去的尝试上，做出越来越小的修改，增加预算也不再带来提升。 因此，这项工作在智能体中引入了「遗忘」机制。 他们定期丢弃每个智能体的会话和候选历史，然后从迄今为止找到的最优候选重新开始。 在启发式编程、内核优化和模型训练任务中，相比并行智能体最多可提升 15%，在相同预算下相比单个智能体最多可提升 39%。 https://arxiv.org/abs/2610.20563 与论文对话：https://academy.dair.ai/papers/scaling-discovery-requires-forgetting-2610.20563…
查看原文
查看缓存全文

缓存时间: 2026/10/16 20:46

规模化发现需要遗忘

来源: https://arxiv.org/abs/2610.20563 作者:Shangyin Tan (https://arxiv.org/search/cs?searchtype=author&query=Tan,+S), Ben Zhou (https://arxiv.org/search/cs?searchtype=author&query=Zhou,+B), Lakshya A Agrawal (https://arxiv.org/search/cs?searchtype=author&query=Agrawal,+L+A), Jialin Zhang (https://arxiv.org/search/cs?searchtype=author&query=Zhang,+J), Yilin Chen (https://arxiv.org/search/cs?searchtype=author&query=Chen,+Y), Qiuyang Mang (https://arxiv.org/search/cs?searchtype=author&query=Mang,+Q), Donghyun Lee (https://arxiv.org/search/cs?searchtype=author&query=Lee,+D), Dennis Jacob (https://arxiv.org/search/cs?searchtype=author&query=Jacob,+D), Koushik Sen (https://arxiv.org/search/cs?searchtype=author&query=Sen,+K), Alex Dimakis (https://arxiv.org/search/cs?searchtype=author&query=Dimakis,+A), Matei Zaharia (https://arxiv.org/search/cs?searchtype=author&query=Zaharia,+M)

查看 PDF (https://arxiv.org/pdf/2610.20563)

摘要：LLM 智能体驱动的自动化研究已在多个领域展现出令人瞩目的成果。通过迭代优化和评分验证器，LLM 智能体能够发现新想法。扩大自动化研究规模的方式有多种：让单个智能体迭代更长时间、并行运行多个智能体、或者进一步让并行智能体之间相互交流并在彼此候选方案的基础上继续构建。然而，我们发现，这三种策略最终都会随着智能体历史记录的积累而陷入瓶颈。每个智能体都会被锚定在自己过去的尝试上，修改越来越少、改动幅度越来越小。在此之后，投入更多算力也几乎无法带来进一步的提升。本文证明，进一步扩大发现规模的关键在于遗忘。定期丢弃搜索状态——包括每个智能体的会话和候选方案历史——并从目前找到的最佳候选方案重新开始，能够解锁搜索过程，让同样的算力预算发挥更大的作用。我们在一个具有通信能力的多智能体团队中实现了遗忘机制，并在涵盖启发式编程、内核优化和模型训练的四个任务上进行了评估。结果表明，与并行智能体相比性能最高提升 15%，与单个智能体相比最高提升 39%。我们的结果表明，对于开放式发现而言，智能体被允许记住多少，与它获得多少算力同样重要。

提交历史

From: Shangyin Tan [查看邮件 (https://arxiv.org/show-email/8aeba071/2610.20563)] **[v1]**2026年10月14日 星期三 17:49:37 UTC（114 KB）

相似文章

@omarsar0: // LLM 智能体中的记忆诅咒 //（建议收藏）过长的历史记录显然会导致智能体性能下降，因为它们变得越来越…

X AI KOLs Following

本研究论文揭示了 LLM 智能体中的“记忆诅咒”现象，证明扩大的上下文窗口会通过削弱前瞻性意图，系统性地破坏多智能体社会困境中的合作行为。作者表明，通过定向微调、合成记忆净化以及减少显式思维链（Chain-of-Thought）推理，可有效缓解此类行为衰退。