MLEvolve：自动化机器学习算法发现的自我进化框架

大型语言模型（LLM）智能体越来越多地被应用于长期任务，例如科学发现和机器学习工程（MLE），在这些任务中，持续的自我进化成为关键能力。然而，现有的MLE智能体存在分支间信息隔离、无记忆搜索以及缺乏层次化控制的问题，这些共同阻碍了长期优化。我们提出了MLEvolve，一个基于LLM的自我进化多智能体框架，用于端到端的机器学习算法发现。通过将树搜索扩展为Progressive MCGS，MLEvolve通过基于图的参考边实现了跨分支信息流，并利用受熵启发的渐进式调度，逐步将搜索从广泛探索转向聚焦利用。为了让智能体能够随着经验积累而进化，我们引入了Retrospective Memory，它结合了冷启动领域知识库和动态全局记忆，用于任务特定经验的检索和重用。为了实现稳定的长期迭代，我们进一步通过自适应编码模式将策略规划与代码生成解耦。在MLE-Bench上的评估表明，MLEvolve在多个维度上取得了最先进的性能，包括在12小时预算（标准运行时间的一半）下的平均获奖率和有效提交率。此外，MLEvolve在数学算法优化任务上也优于包括AlphaEvolve在内的专门算法发现方法，展示了强大的跨领域泛化能力。我们的代码可在 https://github.com/InternScience/MLEvolve 获取。