zero-order-optimization

本文介绍了AdaNAGED，一种结合零阶优化、无参数自适应和非欧几里得更新几何的方法，用于大型语言模型的内存高效微调，具有理论收敛保证，并在OPT-1.3B模型上进行了验证。