论文页面 - ELF: 嵌入式语言流

来源：https://huggingface.co/papers/2605.10938

摘要

用于语言处理的连续扩散模型通过在嵌入空间而非离散词元空间中运行，能够实现卓越的生成质量，从而支持高效的采样和对图像领域技术的适配。

扩散模型与基于流的模型（https://huggingface.co/papers?q=flow-based%20models）已成为生成连续数据（例如图像和视频领域）的事实标准方法。它们的成功吸引了越来越多的人将其应用于语言建模（https://huggingface.co/papers?q=language%20modeling）。与图像领域的对应模型不同，当今领先的扩散语言模型（DLM）主要基于离散词元（https://huggingface.co/papers?q=discrete%20tokens）运行。在本文中，我们展示了连续DLM只需最小程度地适配离散领域即可变得有效。我们提出了嵌入式语言流（ELF），这是一类基于连续时间流匹配（https://huggingface.co/papers?q=continuous-time%20Flow%20Matching）的连续嵌入空间（https://huggingface.co/papers?q=continuous%20embedding%20space）扩散模型（https://huggingface.co/papers?q=diffusion%20models）。与现有DLM不同，ELF在到达最终时间步之前主要停留在连续嵌入空间（https://huggingface.co/papers?q=continuous%20embedding%20space）中，在最终时间步才通过一个共享权重网络映射到离散词元（https://huggingface.co/papers?q=discrete%20tokens）。这种形式使得适配来自图像领域扩散模型（https://huggingface.co/papers?q=diffusion%20models）的成熟技术（例如无分类器引导（https://huggingface.co/papers?q=classifier-free%20guidance），CFG）变得直接。实验表明，ELF显著优于领先的离散和连续DLM，在更少的采样步数（https://huggingface.co/papers?q=sampling%20steps）下实现了更好的生成质量（https://huggingface.co/papers?q=generation%20quality）。这些结果表明，ELF为构建有效的连续DLM提供了一条有前景的路径。

查看arXiv页面（https://arxiv.org/abs/2605.10938）查看PDF（https://arxiv.org/pdf/2605.10938）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.10938）

在你的代理中获取这篇论文：

hf papers read 2605.10938

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

请在模型的README.md中引用arxiv.org/abs/2605.10938，以便从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

请在数据集的README.md中引用arxiv.org/abs/2605.10938，以便从此页面链接。

引用此论文的Spaces0

没有Space链接到此论文

请在Space的README.md中引用arxiv.org/abs/2605.10938，以便从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集（https://huggingface.co/new-collection）中，以便从此页面链接。