@industriaalist：反向传播一直是唯一能够训练大型神经网络的信用分配算法。今天介绍 Dust，首个……

X AI KOLs Timeline 论文
zeroth-order-optimization credit-assignment transformers pretraining evolution-strategies gradient-free

摘要

本文介绍了 Dust——首个能够在预训练 Transformer 上达到、有时甚至超越反向传播的零阶信用分配方法，据称其计算效率比当前最先进的 ES 方法 EGGROLL 高 1,000 到 10,000 倍。作者使用一个并行化的“虚拟种群”对激活进行扰动，证明类似反向传播的梯度会从大规模种群中涌现出来，而且零阶方法实际上会从过参数化中获益。

反向传播一直是唯一能够训练大型神经网络的信用分配算法。 今天介绍 Dust——首个能够通过大量计算将 Transformer 预训练至接近、有时甚至*超越*反向传播水平的零阶方法（苦涩的教训！） - 在训练 Transformer 方面，Dust 的计算效率比当前最先进的 ES 方法 EGGROLL 高 1,000 到 10,000 倍。 - 我们选择预训练 Transformer 作为任务，因为这可以说是零阶优化所能面临的最难任务。 - 高维空间中的搜索被严重误解了：零阶方法通常会随着过参数化而变好，而不是变差——也就是说，在种群规模固定的情况下，更大的模型（最大可达 120 倍）会比更小的模型达到更低的 loss。 - 类似反向传播的梯度会从大量激活扰动中涌现出来，而且这种对齐性在我们测试的所有规模上都成立，直到 1B token，这对扩展（scaling）至关重要。 其核心思想是一个*虚拟种群*——通过并行地扰动激活，帮助将种群规模扩展到 Transformer 上的超大规模。 合作作者：@bishmdl76，@cs_serdar，@akshayvegesna
查看原文
查看缓存全文

缓存时间: 2026/10/06 03:42

反向传播一直是唯一能够训练大型神经网络的信用分配算法。

隆重介绍 Dust——第一个将零阶方法用于预训练 Transformer、在大量计算下接近甚至有时超越反向传播的零阶优化方法（苦涩的教训！）

  • Dust 在训练 Transformer 方面的计算效率比 EGGROLL（最先进的 ES 方法）高出约 1,000 到 10,000 倍。

  • 我们选择预训练 Transformer，因为这可以说是零阶优化所能面对的最难任务。

  • 对高维空间的搜索存在严重误解：零阶方法通常会随过参数化而变得更好，而非更差——也就是说，在固定的种群规模下，更大的模型（最大 120 倍参数量）能达到比小模型更低的损失。

  • 类似反向传播的梯度从大规模激活扰动种群中涌现出来，这种对齐性在我们测试的各个规模上都成立，最大可达 10 亿 token，这对于规模化至关重要。

其核心思想是虚拟种群（virtual population），通过对激活进行并行扰动，帮助在 Transformer 中扩展到大规模种群。

致 @bishmdl76、@cs_serdar、@akshayvegesna

相似文章

Dust：无需反向传播的Transformer预训练方法

Hacker News Top

Dust论文提出了首个在Transformer上与反向传播具有竞争力的零阶预训练方法，通过对逐token的激活进行扰动，使每个token成为虚拟种群中的一个成员，并在一次前向传播中完成评估。论文报告称，与EGGROLL等权重空间进化策略方法相比，效率最高可提升10^3–10^4倍；同时发现更大的模型具有更高的种群效率，表明零阶方法在算力充足的条件下具备扩展潜力。

通过反事实推理路径减少信用分配方差

arXiv cs.LG

提出隐式行为策略优化（IBPO），一种基于反事实比较的信用分配框架，通过将稀疏的终端奖励转化为对步骤敏感的学习信号，提升了大型语言模型在多步推理任务中的训练稳定性和性能。