刻意进化:基于智能体推理的样本高效符号回归与大语言模型
摘要
刻意进化(DE)是一个智能体框架,通过将候选生成与搜索控制解耦,并结合自适应算子、结构诊断工具和反思性记忆,显著提升了基于大语言模型的符号回归效果,仅需标准样本预算的40%即可取得更优结果。
arXiv:2606.04360v1 公告类型:新论文
**摘要:** 符号回归(SR)旨在从数据中发现紧凑的数学表达式,然而近期基于大语言模型(LLM)的进化方法由于主要依赖均方误差(MSE)等标量反馈,样本利用效率依然较低。我们指出了其核心局限:现有方法将候选方案生成与搜索引导混为一谈,要求 LLM 仅凭单一评分来推断如何演化表达式、诊断其错误并复用历史经验。为此,我们提出刻意进化(DE)——一个将符号生成与搜索控制解耦的智能体框架。DE 通过自适应算子引导搜索方向、借助分析工具进行结构诊断、并利用反思性记忆积累轨迹级经验,从而有效指导 LLM 的方案生成。在 LLM-SRBench 上的实验表明,DE 在多个科学领域中持续优于具有代表性的基于 LLM 的 SR 基线方法,且仅需标准样本预算的 40%。
查看缓存全文
缓存时间: 2026/06/05 02:13
# 深思进化:面向样本高效符号回归的智能体推理与大语言模型 来源:https://arxiv.org/abs/2606.04360 查看 PDF (https://arxiv.org/pdf/2606.04360) > 摘要:符号回归(SR)能够从数据中发现紧凑的数学表达式,然而近期基于 LLM 的进化方法由于主要依赖均方误差(MSE)等标量反馈,样本效率依然较低。我们识别出一个核心局限:现有方法将候选方案生成与搜索引导混为一谈,要求 LLM 仅凭单一分数来推断如何演化表达式、诊断其误差并复用历史经验。为此,我们提出了**深思进化(Deliberate Evolution,DE)**——一个将符号生成与搜索控制解耦的智能体框架。DE 通过自适应算子提供搜索方向引导、借助分析工具进行结构诊断,并利用反思性记忆积累轨迹级经验,从而引导 LLM 生成更优质的候选表达式。在 LLM-SRBench 上的实验表明,DE 在多个科学领域上持续优于具有代表性的基于 LLM 的 SR 基线方法,且仅使用标准样本预算的 40%。 ## 提交历史 提交人:Xinyu Pang \[查看邮箱 (https://arxiv.org/show-email/4ae232aa/2606.04360)\] **\[v1\]** 2026 年 6 月 3 日(周三)02:22:16 UTC(4,845 KB)
相似文章
EvoMO-SR:基于多目标大语言模型、带子结构引导的符号表达式演化
EvoMO-SR 是一个由 LLM 驱动的新型符号回归框架。它使用一个小型 LLM(Llama-3.1-8B-Instruct)生成方程骨架,其系数由外部优化器拟合;同时通过多目标生存选择与子结构引导来控制表达式膨胀,并提升结构恢复能力。
Hyper-ES:通过下降方向合并实现LLM推理的高效进化策略
本文提出Hyper-ES,一种基于子空间的进化策略框架,用于LLM推理。该框架通过轻量级基于梯度的微调获得下降方向,然后使用CMA-ES合并逐层的DARE-TIES系数,在需要更少梯度更新的情况下持续优于GRPO-LoRA。
@Kevin_GuoweiXu: 在训练后和推理阶段,对于直接 rollout 很少产生正确答案的困难推理问题,LLM 应如何采样?…
介绍了 BES(双向进化搜索),这是一种面向 LLM 的搜索框架,它将前向候选进化与后向目标分解相结合,以改进在训练后和推理阶段对困难推理问题的采样。
理解Evolution Strategies在LLM推理中的应用:比GRPO更广泛的推理覆盖
本文研究了Evolution Strategies (ES)作为LLM推理的后训练范式,表明ES通过稀疏功能更新和种群多样性,提供了比GRPO更广泛的推理覆盖和更好的Pass@K性能。
AlgoEvolve: LLM驱动的算法交易程序元进化
介绍了AlgoEvolve,一个LLM驱动的进化框架,用于生成并迭代改进算法交易策略。该框架包含一个元进化外层循环,用于进化提示词以指导内层循环的合成。