evolution-strategies

本文介绍了 Dust——首个能够在预训练 Transformer 上达到、有时甚至超越反向传播的零阶信用分配方法，据称其计算效率比当前最先进的 ES 方法 EGGROLL 高 1,000 到 10,000 倍。作者使用一个并行化的“虚拟种群”对激活进行扰动，证明类似反向传播的梯度会从大规模种群中涌现出来，而且零阶方法实际上会从过参数化中获益。

Hill Sampling is a simple test-time scaling method that uses frozen LLMs to iteratively sample and edit the best-verified program, achieving state-of-the-art results on algorithmic problems like circle packing and Erdős' minimum-overlap problem.

本文介绍了EGGROLL，一种使用低秩高斯扰动使进化策略适用于大语言模型的方法，并提出了LOO-ROLL，一种改进的留一估计器，能够提升性能并降低方差，在GSM8K基准测试中实现了显著的精度提升。

本文研究了Evolution Strategies (ES)作为LLM推理的后训练范式，表明ES通过稀疏功能更新和种群多样性，提供了比GRPO更广泛的推理覆盖和更好的Pass@K性能。

本文提出了Agentic ESOpt，一种使用进化策略的方法，能够在最小GPU内存需求下实现长时程LLM代理的可扩展全参数微调。

本文提出在LLM后训练中使用进化策略（ES）而非强化学习，表明ES能提升解决方案覆盖率（pass@k），并在数学基准上取得更好结果。

本文提出Hyper-ES，一种基于子空间的进化策略框架，用于LLM推理。该框架通过轻量级基于梯度的微调获得下降方向，然后使用CMA-ES合并逐层的DARE-TIES系数，在需要更少梯度更新的情况下持续优于GRPO-LoRA。

提出了一种新颖的自监督图像聚类框架，该框架使用进化策略外层循环来最大化“惊喜分数”，无需每步损失，并与梯度下降内循环配对，在严格非参数设置的标准基准上取得了最先进的结果。

介绍了一种名为 Eggroll 的低秩进化策略，用于脉冲神经网络的无梯度训练，在 N-MNIST 上减少内存和时间开销，同时达到有竞争力的准确率。

NVIDIA与牛津大学联合推出EGGROLL，一种可扩展的进化策略算法，仅使用整数和并行突变就能训练十亿参数模型，无需反向传播。

OpenAI 提出进化策略（ES）作为一种可扩展的黑箱优化方法，可替代强化学习用于训练神经网络策略。进化策略通过将策略训练视为随机参数搜索来简化优化问题，该搜索基于奖励反馈反复采样并选择更优的参数配置。