大规模流语言模型

Hugging Face Daily Papers 论文
flow-models language-models parallel-decoding diffusion inference-efficiency multi-token-prediction

摘要

论文提出了 Lafa，一个 8B 参数的分块连续流语言模型，仅使用不到 30B tokens 训练，其质量即可匹配甚至超越自回归模型，并通过自推测解码（self-speculative decoding）与分块并行解码实现了 2.54 倍的推理吞吐量。

连续流语言模型为并行生成提供了一条路径，其具备的控制与加速工具是离散扩散所不具备的，然而在十亿参数规模上有效构建此类模型的技术仍不够成熟。我们提出 Lafa（Large flow language model），一个以数据高效方式扩展至 8B 参数的高速、高性能流语言模型。Lafa 是一个分块流模型，对前缀使用因果注意力，在每个块内部采用双向、异步的流。这一设计通过改编预训练自回归（AR）模型实现高效训练，并借助前缀缓存与分块并行解码实现快速推理。我们在 0.5B、7B 和 8B 规模上使用少于 30B tokens 训练 Lafa，效率优于以往的扩散模型，并在指令遵循、推理和代码生成任务上进行评估。结果表明，所学习的流在质量上匹配或超越 AR 模型，并且可以被蒸馏为流映射（flow map），实现一步或少步生成。值得注意的是，流训练通过多 token 预测效应保留甚至提升了预训练的 AR 能力，我们据此设计了一种自推测解码方案，在单一模型内以自回归方式验证基于流的草稿。该方案在质量相当的情况下实现了 AR 模型 2.54 倍的吞吐量，优于多 token 预测和离散扩散方法。我们的研究结果表明，连续流可以作为语言建模的可扩展基础。
查看原文
查看缓存全文

缓存时间: 2026/10/21 07:01

论文页面 - 大型流语言模型

来源：https://huggingface.co/papers/2610.28559

摘要

大规模连续流语言模型通过分块流设计、自推测解码和多 token 预测，实现高效训练、高质量生成和更快推理。

连续流语言模型（https://huggingface.co/papers?q=Continuous%20flow%20language%20models）为并行生成提供了一条路径，并具备离散扩散（https://huggingface.co/papers?q=discrete%20diffusion）所不具备的控制与加速工具，但在十亿参数规模上构建此类模型的有效技术仍不够成熟。我们提出了 Lafa（Large flow language model），这是一种以数据高效方式扩展到 8B 参数的快速、高性能流语言模型。Lafa 是一种分块流模型（https://huggingface.co/papers?q=blockwise%20flow%20model），在前缀上使用因果注意力（https://huggingface.co/papers?q=causal%20attention），在每个块内采用双向、异步的流。这种设计通过适配预训练自回归（AR）模型实现高效训练，并通过前缀缓存（https://huggingface.co/papers?q=prefix%20caching）和分块并行解码（https://huggingface.co/papers?q=blockwise%20parallel%20decoding）实现快速推理。我们在 0.5B、7B 和 8B 规模上训练 Lafa，使用的 token 数少于 300 亿，比以往的扩散模型更高效，并在指令遵循、推理和编码任务上对其进行了评估，其中所学习的流达到或超过了 AR 的质量，并且可以蒸馏为流映射（https://huggingface.co/papers?q=flow%20maps）以实现单步和少步生成。值得注意的是，流训练通过多 token 预测（https://huggingface.co/papers?q=multi-token%20prediction）效应保留甚至提升了预训练 AR 能力，我们利用这一效应构建了自推测解码（https://huggingface.co/papers?q=self-speculative%20decoding）方案，在单个模型内以自回归方式验证基于流的草稿。这使得在相近质量下吞吐量达到 AR 模型的 2.54 倍，优于多 token 预测（https://huggingface.co/papers?q=multi-token%20prediction）和离散扩散（https://huggingface.co/papers?q=discrete%20diffusion）方法。我们的研究结果表明，连续流可以作为语言建模的可扩展基础。

查看 arXiv 页面 (https://arxiv.org/abs/2610.28559) 查看 PDF (https://arxiv.org/pdf/2610.28559) GitHub3 (https://github.com/lafa-gh/large-flow-lms) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.28559)

在你的 agent 中获取此论文：

hf papers read 2610.28559

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型3

lafa-hf/lafa-0.5B 文本生成 • 0.7B • 更新于约 4 小时前 • 7 (https://huggingface.co/lafa-hf/lafa-0.5B)

lafa-hf/lafa-7B 文本生成 • 8B • 更新于约 4 小时前 • 6 (https://huggingface.co/lafa-hf/lafa-7B)

lafa-hf/lafa-8B 文本生成 • 8B • 更新于约 4 小时前 • 6 (https://huggingface.co/lafa-hf/lafa-8B)

引用本文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.28559，即可从此页面链接它。

引用本文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.28559，即可从此页面链接它。

包含此论文的收藏夹0

没有收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接它。

相似文章

LangFlow：连续扩散在语言建模中可与离散扩散相媲美

Hugging Face Daily Papers

LangFlow提出了首个可与离散扩散方法相媲美的连续扩散语言模型，挑战了长期以来认为连续扩散在语言建模中劣于离散扩散的观点。该工作引入了基于最优Gumbel噪声调度等关键要素，并展示了与离散扩散基线相比具有竞争力的困惑度和迁移学习性能。

FlowLM: 基于扩散-流适配的少步语言建模

arXiv cs.CL

FlowLM 提出了一种流匹配语言模型，通过高效微调从预训练扩散模型衍生而来，能够实现高质量少步文本生成，其效果可与2000步扩散采样相媲美，而训练轮次更少。

掩码语言流模型

arXiv cs.CL

本文介绍了掩码语言流模型（MLFMs），该模型将掩码机制引入基于流的语言模型，从而实现连续流进行条件生成，并允许转换预训练的掩码扩散模型。作者提出了一种新型采样器，交替进行连续去噪和离散去掩码，首次证明了基于流的语言模型可以扩展至下游推理和指令遵循任务。

重新思考扩散与解码的作用：用于并行语言生成的预测状态流

arXiv cs.CL

该论文提出了预测状态流（Predictive-State Flows，PSF），这是一种连续扩散语言模型设计，其中整流流先验生成块级预测状态，块因果解码器并行生成词元，从而显著减少扩散状态和串行深度，同时相较于 ELF-B 等模型提升了效率和生成质量。

Multimodal Flow：语言与视觉在嵌入空间中的统一流建模

Hugging Face Daily Papers

Multimodal Flow 提出了一种用于语言和视觉的完全连续生成架构，采用基于连续嵌入超块（hyperchunk）的共享分块因果流骨干网络。MF-1 在 0.6B 至 1.6B 规模上进行预训练，仅使用 150B tokens，便在 GenEval、DPG-Bench、VQAv2、MMBench 和 POPE 上取得了具有竞争力的表现。