zeroth-order-optimization

SkillOpt-Lite 提出了一种用于自主智能体技能优化的最小可行流水线，通过将所有组件视为可编辑代码并集成到生产编码智能体中，实现更好更快的自我进化。它通过零阶优化形式化技能优化，并在基准测试上优于先前方法。

GRZO是一种新颖的零阶优化方法，用于微调大语言模型，通过群组相对归一化降低方差，与MeZO相比实现了更高的准确性和内存效率。

本文提出了一个混合框架，结合一阶安全对齐与零阶微调，以增强LLM安全对齐在受到对齐后扰动时的鲁棒性。理论和实验结果表明，仅需少量微调步骤即可在保持安全性的同时提升鲁棒性。