论文页面 - 是什么让 LLM 成为优秀优化器？LLM 引导进化搜索的轨迹分析

来源：https://huggingface.co/papers/2604.19440

摘要

LLM 引导的进化搜索表明，优化成功取决于搜索轨迹特征，而非仅靠初始解题能力；强优化器局部精修，弱优化器则出现语义漂移。

近期研究已展示在进化和智能体优化系统中编排大语言模型（https://huggingface.co/papers?q=large%20language%20models）（LLM）的潜力。然而，驱动这些优化增益的机制仍不清楚。本工作对 LLM 引导的进化搜索（https://huggingface.co/papers?q=evolutionary%20search）开展大规模研究，在 8 项任务中收集 15 个 LLM 的优化轨迹（https://huggingface.co/papers?q=optimization%20trajectories）。尽管零样本解题能力与最终优化结果相关，它仅能解释部分方差：初始能力相近的模型往往诱导出截然不同的搜索轨迹与结果。通过分析这些轨迹，我们发现强 LLM 优化器表现为局部精修器，频繁产生增量改进，同时在语义空间（https://huggingface.co/papers?q=semantic%20space）中逐步聚焦搜索。相反，弱优化器表现出大幅语义漂移（https://huggingface.co/papers?q=semantic%20drift），偶现突破后便陷入停滞。值得注意的是，各种解的新颖性（https://huggingface.co/papers?q=solution%20novelty）指标均无法预测最终性能；仅当搜索足够聚焦于解空间的高性能区域时，新颖性才有益。我们的结果凸显轨迹分析（https://huggingface.co/papers?q=trajectory%20analysis）对理解和改进基于 LLM 的优化系统的重要性，并为其设计与训练提供可行洞见。

查看 arXiv 页面（https://arxiv.org/abs/2604.19440）查看 PDF（https://arxiv.org/pdf/2604.19440）项目页面（https://xinhao-zhang.github.io/traj_evo_search/）GitHub0（https://github.com/XINHAO-ZHANG/LLMEvo_Eval）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2604.19440）

在您的智能体中获取该论文：

hf papers read 2604\.19440

尚未安装最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型 0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2604.19440 即可在此页面显示链接。

引用该论文的数据集 0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2604.19440 即可在此页面显示链接。

引用该论文的 Spaces 0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2604.19440 即可在此页面显示链接。

收录该论文的合集 0

暂无合集收录此论文

将该论文添加到合集（https://huggingface.co/new-collection）即可在此页面显示链接。