@simplifyinAI: 重磅：NVIDIA证明反向传播并非构建AI的唯一途径。十亿参数模型已完成训练，无需……

X AI KOLs Timeline 论文
nvidia evolution-strategies eggroll gradient-free pretraining scalable-mutations

摘要

NVIDIA与牛津大学联合推出EGGROLL，一种可扩展的进化策略算法，仅使用整数和并行突变就能训练十亿参数模型，无需反向传播。

重磅消息：NVIDIA证明反向传播并非构建AI的唯一途径。十亿参数模型在没有任何梯度的情况下完成训练。没有微积分，没有内存爆炸，没有庞大的GPU集群。秘诀是什么？一种长期被忽视的技术——进化策略。NVIDIA和牛津大学通过EGGROLL使其变得可扩展，该算法用两个小型矩阵取代了臃肿的突变矩阵，实现了数十万次并行突变，速度接近推理级别。它们仅使用简单的整数从头开始预训练模型。没有反向传播。没有小数。我们曾以为AI的未来需要无尽的精密硬件。进化另有安排。
查看原文

相似文章

EGGROLL，展开：理解与改进大规模低秩进化策略

arXiv cs.LG

本文介绍了EGGROLL，一种使用低秩高斯扰动使进化策略适用于大语言模型的方法，并提出了LOO-ROLL，一种改进的留一估计器，能够提升性能并降低方差，在GSM8K基准测试中实现了显著的精度提升。