标签
这篇论文提出 SAZO（样本自适应零阶优化），通过在线学习样本重要性并自适应分配查询，来加速大语言模型的零阶优化微调，在保持低内存开销的同时实现最高 6 倍的收敛加速。
Dust论文提出了首个在Transformer上与反向传播具有竞争力的零阶预训练方法，通过对逐token的激活进行扰动，使每个token成为虚拟种群中的一个成员，并在一次前向传播中完成评估。论文报告称，与EGGROLL等权重空间进化策略方法相比，效率最高可提升10^3–10^4倍；同时发现更大的模型具有更高的种群效率，表明零阶方法在算力充足的条件下具备扩展潜力。
本文介绍了 Dust——首个能够在预训练 Transformer 上达到、有时甚至超越反向传播的零阶信用分配方法，据称其计算效率比当前最先进的 ES 方法 EGGROLL 高 1,000 到 10,000 倍。作者使用一个并行化的“虚拟种群”对激活进行扰动，证明类似反向传播的梯度会从大规模种群中涌现出来，而且零阶方法实际上会从过参数化中获益。
本文提出 ZeNOVA，一种无需梯度的零阶初始噪声优化方法，用于将确定性的单步或少步生成模型对齐到黑盒奖励。该方法采用退火软值引导、流形约束的超球面朗之万动力学以及 Metropolis-Hastings 跳转机制，从而实现比现有方法更稳定的优化效果。
ZoAQ 提出了一种自适应零阶优化方法，通过重用过去的查询来减少评估次数，在合成任务中节省了43-48%的查询，并在黑盒攻击中实现了高成功率。
SkillOpt-Lite 提出了一种用于自主智能体技能优化的最小可行流水线，通过将所有组件视为可编辑代码并集成到生产编码智能体中，实现更好更快的自我进化。它通过零阶优化形式化技能优化，并在基准测试上优于先前方法。
GRZO是一种新颖的零阶优化方法，用于微调大语言模型，通过群组相对归一化降低方差，与MeZO相比实现了更高的准确性和内存效率。
本文提出了一个混合框架，结合一阶安全对齐与零阶微调，以增强LLM安全对齐在受到对齐后扰动时的鲁棒性。理论和实验结果表明，仅需少量微调步骤即可在保持安全性的同时提升鲁棒性。