@simplifyinAI: 重磅：NVIDIA证明反向传播并非构建AI的唯一途径。十亿参数模型已完成训练，无需……
摘要
NVIDIA与牛津大学联合推出EGGROLL，一种可扩展的进化策略算法，仅使用整数和并行突变就能训练十亿参数模型，无需反向传播。
重磅消息：NVIDIA证明反向传播并非构建AI的唯一途径。十亿参数模型在没有任何梯度的情况下完成训练。没有微积分，没有内存爆炸，没有庞大的GPU集群。秘诀是什么？一种长期被忽视的技术——进化策略。NVIDIA和牛津大学通过EGGROLL使其变得可扩展，该算法用两个小型矩阵取代了臃肿的突变矩阵，实现了数十万次并行突变，速度接近推理级别。它们仅使用简单的整数从头开始预训练模型。没有反向传播。没有小数。我们曾以为AI的未来需要无尽的精密硬件。进化另有安排。
相似文章
@HowToAI_: NVIDIA 完成了一项不可能的任务，却无人提及。他们以 4 位精度训练了一个 120 亿参数的 LLM…
NVIDIA 利用新的 NVFP4 格式及微缩放技术，以 4 位精度训练了一个 120 亿参数的大语言模型，在几乎不损失智能的同时，内存使用减半、算术速度提升三倍，标志着高效 AI 训练的重大突破。
@alex_verem: 一组研究人员刚刚证明，你不需要更大的模型，你需要更聪明的计划。来自清华大学和……
来自清华大学和华南理工大学的研究人员引入了原子任务图（ATG），这是一个框架，通过基于有向图的规划和内部模拟，大幅降低幻觉率，使7B-8B开源模型在不进行微调的情况下，在复杂智能体基准测试中超越GPT-4。
@heyrobinai: 整个AI行业刚刚被羞辱了——一个仅用单张显卡训练几小时的微型模型正在规划...
Yann LeCun的团队发布了LeWorldModel，一个仅有1500万参数的物理模型，在单张GPU上训练数小时，在规划速度和物理合理性上超越了价值数十亿美元的基础模型，挑战了主流的规模扩展范式。
基于低秩进化策略的脉冲神经网络无梯度训练
介绍了一种名为 Eggroll 的低秩进化策略，用于脉冲神经网络的无梯度训练，在 N-MNIST 上减少内存和时间开销，同时达到有竞争力的准确率。
进化策略作为强化学习的可扩展替代方案
OpenAI 提出进化策略（ES）作为一种可扩展的黑箱优化方法，可替代强化学习用于训练神经网络策略。进化策略通过将策略训练视为随机参数搜索来简化优化问题，该搜索基于奖励反馈反复采样并选择更优的参数配置。