论文页面 - 分层连续扩散语言模型

来源: https://huggingface.co/papers/2610.02193

摘要

离散扩散语言模型为需要双向推理和全局约束满足的任务提供了一种极具吸引力的自回归生成替代方案。然而，它们存在一个结构性瓶颈：在并行解码时，每个 token 都是从其边际分布中独立采样的，这切断了被一起解码的 token 之间的统计依赖关系。连续扩散语言模型通过去噪一个共享的连续状态来避免这个问题，但其去噪器只能看到该状态本身，因此在最终解码之前，没有任何东西将该状态约束为一个有效的 token 配置。为了解决这个问题，我们提出了分层连续扩散语言模型（Hierarchical Continuous Diffusion Language Models，HC-DLM），它将离散 token 生成与连续隐变量轨迹耦合在一个统一的、有原理的去噪过程中，其训练目标从 token 似然的变分下界推导而来。与近期将连续上下文附加到自包含离散链上的方法不同，HC-DLM 使隐变量成为唯一的持久生成状态：每一步都从隐变量中读出 token，并将其作为脚手架反馈给下一次隐变量更新。在结构化推理（Sudoku）、数学规划（Countdown）和语言建模（LM1B）任务上，在相同模型规模下，HC-DLM 在离散和连续扩散基线方法之上有所改进，具体体现在 Sudoku 和 Countdown 的拼图准确率以及 LM1B 的生成困惑度上。项目主页：https://hc-dlm.github.io/。

查看 arXiv 页面 (https://arxiv.org/abs/2610.02193) 查看 PDF (https://arxiv.org/pdf/2610.02193) 项目主页 (https://hc-dlm.github.io/) GitHub1 (https://github.com/rhfeiyang/HC-DLM) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.02193)

引用该论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.02193 即可从本页面链接到它。

引用该论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.02193 即可从本页面链接到它。

引用该论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.02193 即可从本页面链接到它。

包含该论文的合集 0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从本页面链接到它。