改进的大型语言扩散模型

arXiv cs.CL 论文

摘要

iLLaDA是一个80亿参数的掩码扩散语言模型,具有完全双向注意力机制,从头开始在12万亿token上训练。与LLaDA相比,它在多个方面都有显著改进,并在多个基准测试上与Qwen2.5 7B保持竞争力。模型和代码已开源。

arXiv:2606.25331v1 公告类型:新 摘要:现代大型语言模型主要采用自回归分解和因果注意力进行训练。我们提出 \emph{iLLaDA},一个80亿参数的掩码扩散语言模型,从头开始使用完全双向注意力进行训练。iLLaDA在预训练和监督微调(SFT)过程中始终保持掩码扩散目标,将预训练扩展到12万亿token,并在250亿token的指令语料库上微调12个epoch。我们进一步采用可变长度生成以提高效率,并为多项选择评估引入基于置信度的评分。与LLaDA相比,iLLaDA在通用、数学和代码基准测试上均有广泛提升;例如,iLLaDA-Base在BBH上提升21.6分,在ARC-Challenge上提升14.9分,而iLLaDA-Instruct在MATH上提升14.5分,在HumanEval上提升16.5分。尽管采用非自回归训练,iLLaDA在多个基准测试上仍与Qwen2.5 7B保持竞争力。这些结果表明,从头开始进行完全双向扩散训练是通往强大语言模型的一条有竞争力的路径。模型权重和代码:https://github.com/ML-GSAI/LLaDA。
查看原文
查看缓存全文

缓存时间: 2026/06/25 05:10

# 改进的大型语言扩散模型
来源:https://arxiv.org/html/2606.25331
1\]中国人民大学高瓴人工智能学院 2\]大型模型与智能治理北京重点实验室 3\]下一代智能搜索与推荐教育部工程研究中心 4\]字节跳动Seed\\contribution\[†\]在字节跳动Seed实习期间完成的工作\\contribution\[\*\]通讯作者\\checkdata\[联系方式\]\{nieshen,chongxuanli\}@ruc\.edu\.cn\\checkdata\[通信作者\]李崇轩、文继荣

闵启阳 徐少轩 黄子浩 宋宇轩 单勇 林衍凯 赵鑫 李崇轩 文继荣 \\[\[\[

###### 摘要

现代大型语言模型主要采用自回归分解和因果注意力进行训练。我们提出了 **iLLaDA**,一个从头开始训练的 8B 掩码扩散语言模型,采用完全双向注意力。iLLaDA 在预训练和监督微调(SFT)中均保持掩码扩散目标,将预训练规模扩展至 12T token,并在包含 25B token 的指令语料库上微调 12 个 epoch。我们还使用可变长度生成以提高效率,并引入基于置信度的评分用于多选题评估。与 LLaDA 相比,iLLaDA 在通用、数学和代码基准测试上全面改进;例如,iLLaDA-Base 在 BBH 上提升 21.6 分,在 ARC-Challenge 上提升 14.9 分,而 iLLaDA-Instruct 在 MATH 上提升 14.5 分,在 HumanEval 上提升 16.5 分。尽管采用非自回归训练,iLLaDA 在多个基准测试上仍能与 Qwen2.5 7B 竞争。这些结果表明,从头开始的完全双向扩散训练是迈向强大语言模型的一条有竞争力的路径。模型权重和代码:[https://github.com/ML-GSAI/LLaDA](https://github.com/ML-GSAI/LLaDA)。

## 1 引言

目前,大型语言模型(LLM)主要由自回归范式主导[zhao2023survey, brown2020language, chatgpt, dubey2024llama]。最近,扩散语言模型作为一种不同的语言生成方法引起了越来越多的关注。遵循掩码扩散公式[austin2021structured, lou2023discrete, shi2024simplified, sahoo2024simple, ou2024your],LLaDA 使用完全双向注意力从头开始训练语言模型[nie2026large]。它表明,非自回归模型可以获得上下文学习和指令跟随等核心 LLM 能力,挑战了语言智能必须依赖自回归建模的普遍观点。

除了这一概念性意义之外,双向扩散语言模型在逆向推理和双向推理[nie2026large, nie2024scaling]、长期规划[ye2025beyondplanning]以及多模态或全模态建模[you2025llada, yang2025mmada, you2026lladao, xin2025luminadimoo]方面显示出优势。最近的研究进一步表明,双向扩散预训练可以在重复训练条件下更好地利用有限数据,使扩散语言模型在数据受限场景中优于自回归模型[prabhudesai2025diffusion, ni2025diffusion]。然而,LLaDA 仍是一个初步的大规模尝试,其性能落后于 Qwen2[qwen2] 和 Qwen2.5[qwen2.5] 等强大的自回归模型,仍有很大的改进空间。

我们提出了 **iLLaDA**(*improved LLaDA*),一个从头开始训练的 8B 完全双向掩码扩散语言模型。在预训练方面,iLLaDA 将语料库扩展到 12T token,使用分组查询注意力[ainslie2023gqa]以减少缓存式推理内存,并绑定输入/输出嵌入以减少参数量,同时修改了大规模训练的学习率调度。在后训练方面,iLLaDA 修改了 SFT 策略以支持可变长度生成,并在包含 25B token 的指令语料库上训练 12 个 epoch。在推理和评估方面,iLLaDA 使用可变长度生成以提高效率,并使用基于置信度的评分用于多选题基准测试。

实验表明,这些改进显著提升了 LLaDA。与之前的双向扩散语言模型(包括从头训练的 LLaDA 和从 Qwen2.5 微调的 Dream[ye2025dream])相比,iLLaDA 在基础模型和指令微调评估中均取得了最佳平均性能。与 Qwen2.5 7B[qwen2.5] 相比,iLLaDA-Base 的平均性能略强,而 iLLaDA-Instruct 仍落后于 Qwen2.5 7B Instruct。消融实验进一步表明,基于置信度的评分改善了多选题评估,并且 iLLaDA 在多个 SFT epoch 后仍能持续受益。

## 2 方法

本节介绍 iLLaDA 的训练和推理过程。我们保留了 LLaDA 的掩码扩散公式[austin2021structured, lou2023discrete, shi2024simplified, sahoo2024simple, ou2024your, nie2026large],同时进行了一些实际改进,这些改进对于扩展规模、后训练和评估至关重要。

### 2.1 预训练

iLLaDA 遵循与 LLaDA 相同的预训练目标。给定一个长度为 \( L \) 的干净序列 \( x_0 \),我们采样一个掩码率 \( t \sim U[0,1] \),独立地以概率 \( t \) 将每个 token 替换为掩码 token \( M \),得到损坏序列 \( x_t \)。模型被训练来预测所有被掩码的 token:

\[
\mathcal{L}(\theta) \triangleq -\mathbb{E}_{t, x_0, x_t} \left[ \frac{1}{t} \sum_{i=1}^{L} \textbf{1}[x_t^i = \textrm{M}] \log p_\theta(x_0^i | x_t) \right].
\tag{1}
\]

该目标是离散数据的基于似然的掩码扩散目标[shi2024simplified, sahoo2024simple, ou2024your],其中指示函数 \( \textbf{1}[\cdot] \) 确保仅对掩码 token 计算损失。这与固定掩码率的掩码语言建模不同[devlin2018bert]。

iLLaDA 的主干是一个密集 Transformer,使用 RMSNorm[zhang2019root]、SwiGLU[shazeer2020glu]、RoPE[su2024roformer],且不包含注意力或 MLP 偏置。与使用多头注意力的 LLaDA 不同,iLLaDA 使用分组查询注意力(GQA)[ainslie2023gqa]。最近的工作表明,KV 缓存类机制可以适应扩散语言模型[ma2025dkvcache, nguyentri2025attention, cheong2026entropycache, yang2025diffusionvar, qian2026d3llm];在这种缓存式实现下,GQA 减少了缓存键/值状态的内存占用。为了进一步控制参数量,iLLaDA 绑定了输入嵌入和 LM 头的参数。iLLaDA 与 LLaDA 的架构差异总结在表 1 中。

我们使用最大序列长度 8192 预训练 iLLaDA。我们以 30% 的概率将一个 8192 token 序列随机拆分为两个较短的片段,这受到掩码扩散语言模型的随机长度训练启发[nie2024scaling]。我们将可变长度的样本打包到每个批次中,并使用基于 FlashAttention 的可变长度注意力核(PyTorch 文档)计算注意力,该核使用累积序列偏移量来分隔样本,而无需将它们填充到相同长度。学习率线性预热至 \( 2 \times 10^{-4} \),然后保持不变。在训练过程中,当观察到预训练损失停止下降时,我们切换到余弦衰减调度,最小学习率为 \( 5 \times 10^{-6} \),之后预训练损失继续改善。我们使用 AdamW 优化器[loshchilov2017decoupled],权重衰减为 0.1。

**表 1:iLLaDA 与 LLaDA 的架构对比。**

### 2.2 监督微调

先前的工作[nie2026large, zhu2025llada, you2025llada]通常通过将提示与其完整的参考响应拼接来构建每个 SFT 实例。在训练期间,提示 token 保持可见,而掩码仅应用于响应区域。在每个小批量中,较短的响应会填充 \(\| \text{EOS} \|\) token,以匹配最长响应的长度。

iLLaDA 使用与预训练相同的数据处理和掩码方案。我们将每个指令示例格式化为一个提示-响应序列后跟一个终止符 \(\| \text{EOS} \|\),将所有格式化的示例连接成一个连续的指令语料库,并从该语料库中采样 8192 token 的训练序列。然后我们将随机掩码应用于整个序列,并优化公式 (1),因此提示 token、响应 token 和 \(\| \text{EOS} \|\) token 都可能被掩码。我们还使用与预训练相同的随机长度训练。这种 SFT 格式自然地支持第 2.3 节中描述的可变长度块生成。

我们的 SFT 语料库包含约 250 亿 token,我们微调了 12 个 epoch。如第 3.2 节所示,我们的消融研究表明,随着 SFT epoch 数量的增加,iLLaDA 持续改进。在 SFT 期间,学习率首先线性预热至 \( 5 \times 10^{-6} \),然后保持不变,最后在训练的最后 10% 线性衰减至 \( 5 \times 10^{-7} \)。我们使用 AdamW 优化器[loshchilov2017decoupled],权重衰减为 0.1。

### 2.3 推理

iLLaDA 使用与 LLaDA 相同的概率公式[nie2026large]。特别地,两个模型都使用公式 (1) 中的掩码扩散目标进行训练,这对应于模型分布的负对数似然的上界。

许多语言模型基准测试被公式化为多项选择任务,例如 HellaSwag[zellers2019hellaswag]、PIQA[bisk2020piqa] 和 ARC-Challenge[clark2018think]。给定一个前缀 \( p \) 和一个有限的候选续写集合,评估需要为每个候选分配一个分数并选择得分最高的。对于 iLLaDA,我们使用一个确定性的基于置信度的评分规则,该规则在经验上优于对多项选择任务的对数似然上界。

给定一个长度为 \( L \) 的候选续写 \( y \),我们从全部被掩码的候选开始,并逐步揭示一个真实候选 token。在第 \( k \) 步,在剩余的掩码位置 \( \mathcal{M}_{k-1} \) 中,我们选择模型赋予最高置信度的 token:

\[
i_k = \arg\max_{i \in \mathcal{M}_{k-1}} p_\theta(y^i | p, \tilde{y}_{k-1}), \quad S_{\mathrm{conf}}(y|p) = \sum_{k=1}^{L} \log p_\theta(y^{i_k} | p, \tilde{y}_{k-1}),
\tag{2}
\]

其中 \( \tilde{y}_{k-1} \) 包含已揭示的真实 token,其他地方为掩码。这个置信度分数不是似然估计;相反,它是用于比较有限候选答案集的任务特定评分替代。

对于开放式生成,iLLaDA 使用可变长度生成。给定一个提示,我们附加一个掩码 token 块并在此块内运行扩散采样器。在每个采样步骤,模型预测所有被掩码的位置,我们将最高置信度的预测转移到可见 token,同时保持低置信度位置被掩码,遵循 LLaDA 和 MaskGIT[chang2022maskgit] 的低置信度重新掩码策略。一旦一个块被解码,如果出现 \(\| \text{EOS} \|\) 或其他停止 token,则生成终止;否则,附加一个新的掩码块并继续该过程,直到达到最大生成预算。

## 3 实验

在本节中,我们在标准基准测试上评估 iLLaDA 的基础能力和指令跟随能力,然后进行关于多项选择评分和 SFT 时长的消融研究。结果表明,iLLaDA 在多个推理基准测试上显著优于先前的扩散语言模型,并与强大的自回归基线保持竞争力。

**表 2:基础模型基准测试结果。** 标记 \( \dagger \) 和 \( \ddagger \) 的结果分别来自 nie2026large 和 ye2025dream。对于 Dream,18T 表示 Qwen2.5 预训练 token,0.6T 表示扩散微调 token。
**表 3:指令模型基准测试结果。** 标记 \( \dagger \) 和 \( \ddagger \) 的结果分别来自 nie2026large 和 ye2025dream。

### 3.1 基准测试结果

我们在基础模型和指令微调两种设置下评估 iLLaDA。基准测试套件涵盖通用语言理解和推理,包括 MMLU[hendrycks2020measuring]、BBH[suzgun2022challenging]、ARC-Challenge[clark2018think] 和 HellaSwag[zellers2019hellaswag];数学推理,包括 GSM8K[cobbe2021training] 和 MATH[hendrycks2021measuring];以及代码生成,包括 HumanEval[chen2021evaluating] 和 MBPP[austin2021program]。对于指令微调模型,我们额外报告了 MMLU-Pro[wang2024mmlupro](一个更具挑战性的多任务理解基准)和 MMLU-Redux[gema2024done](MMLU 的纠错重新标注)。我们与代表性的扩散语言模型 LLaDA 8B[nie2026large] 和 Dream 7B[ye2025dream],以及自回归模型 Qwen2.5 7B[qwen2.5] 进行比较。

表 2 比较了基础模型。iLLaDA 在所有任务上显著优于 LLaDA,在 BBH、ARC-Challenge、GSM8K、HumanEval 和 MBPP 上提升尤为显著。与 Dream 7B 相比,iLLaDA 在大多数通用和数学基准测试上取得了更强的结果,而 Dream 在 HumanEval 上仍然更强。与 Qwen2.5 7B 相比,尽管采用扩散公式,iLLaDA 仍具有竞争力,并在表中报告的模型中,在 MMLU、BBH、ARC-Challenge 和 GSM8K 上取得了最佳结果。

表 3 报告了指令微调结果。iLLaDA 在 SFT 后在大多数基准测试上继续优于 LLaDA 和 Dream,改进在 GSM8K、MATH 和 HumanEval 上尤为显著。与 Qwen2.5 7B 相比,iLLaDA 在几个数学和代码基准测试上仍然落后,但在 MMLU-Redux 上取得了有竞争力的结果,并显著缩小了扩散语言模型与强大自回归基线之间的差距。由于 iLLaDA Base 在表 2 中已经与 Qwen2.5 Base 具有竞争力,我们认为指令设置中的剩余差距主要是由于 Qwen2.5 在 SFT 之后使用了额外的强化学习对齐。我们将 iLLaDA 的强化学习对齐留作未来工作。评估细节请参考附录 A。

### 3.2 消融研究

我们首先消融了多项选择评估的评分规则。如表 4 所示,基于置信度的评分始终优于似然型多项选择基线,在 PIQA 上提升 1.3,在 ARC-Challenge 上提升 0.6,在 HellaSwag 上提升 2.3。这一结果促使我们在第 2.3 节的多项选择评估中使用基于置信度的评分。

我们进一步研究了 SFT 时长的影响。图 1 显示,随着 SFT epoch 数量的增加,性能通常得到改善,这支持了 iLLaDA 使用长 SFT 的做法,尤其是在推理密集型基准测试上。这一观察结果与最近关于数据受限场景下扩散语言模型的研究一致[prabhudesai2025diffusion, ni2025diffusion];例如,ni2025diffusion 表明扩散语言模型在重复训练数据时可以从更多 epoch 中受益。

相似文章

LLaDA MoE v2:扩展混合专家扩散语言模型

Hugging Face Daily Papers

一篇研究论文,提出了混合专家扩散语言模型的扩展定律和设计原则,并以 LLaDA MoE v2(30B-A3B)在 23.5T token 上进行训练,在多个基准测试上以更少的预训练 token 接近 Qwen3。

LLaDA2.X (GitHub 仓库)

TLDR AI

蚂蚁集团发布LLaDA2.X系列扩散语言模型,扩展至千亿参数,采用MoE架构,开源模型权重和训练代码。

ALoDLM:自适应循环扩散语言模型

Hugging Face Daily Papers

ALoDLM 为扩散语言模型引入了 token 自适应的潜在循环机制,将额外计算分配给难以预测的 token,并通过条件负 ELBO 联合学习预测与计算分配,在 1.7B 和 8B 参数规模下、于十一项基准测试中均优于其他 DLM 和自回归基线模型。