标签
本文提出了一种混合嵌套搜索框架，在LLM驱动的进化优化中，将结构草图（由LLM生成）与数值参数优化（由CMA-ES等传统求解器完成）解耦，并在元优化、基于代码的策略和贝叶斯推断任务中进行了验证。
本文提出Hyper-ES，一种基于子空间的进化策略框架，用于LLM推理。该框架通过轻量级基于梯度的微调获得下降方向，然后使用CMA-ES合并逐层的DARE-TIES系数，在需要更少梯度更新的情况下持续优于GRPO-LoRA。
TinyRouter是一个微型的10K参数LLM路由器，它通过进化训练学习将每个问题路由到开源LLM池中最佳的专家模型。在MMLU和数学基准测试上，其性能达到或超过单个模型。