用于一步代码生成的连续扩散

Reddit r/artificial 2026/09/07 22:35 论文

code-generation diffusion-models distillation language-models one-step-generation

摘要

论文提出了一种通过使语言连续化、使用扩散模型并蒸馏轨迹来实现一步代码生成的方法，并附带代码发布。

语言模型能否一步写出代码？是的：使语言连续化，使用扩散模型，然后将轨迹蒸馏为一步。论文：https://arxiv.org/abs/2609.04531 代码：https://github.com/pengzhangzhi/plaidq

查看原文

相似文章

arXiv cs.CL

本文介绍了Constrained Diffusion for Code (CDC)，这是一种无需训练的神经符号推理框架，它将约束满足直接集成到离散扩散模型的逆向去噪过程中，用于代码生成。CDC在功能正确性、安全性和语法方面持续提升约束满足率，在多个基准测试中优于现有的扩散模型和自回归基线。

arXiv cs.CL

本文将语言生成重新表述为随机最优控制问题，解决了自回归和扩散模型的局限性，并提出了使用Flow Matching在潜在控制空间中的闭环扩散方法，实现了高保真生成和高效并行采样。

Hacker News Top

文章讨论了连续扩散模型在语言生成领域的复兴，强调了近期的研究和历史背景，挑战了自回归语言模型的主导地位。

Hugging Face Daily Papers

LangFlow提出了首个可与离散扩散方法相媲美的连续扩散语言模型，挑战了长期以来认为连续扩散在语言建模中劣于离散扩散的观点。该工作引入了基于最优Gumbel噪声调度等关键要素，并展示了与离散扩散基线相比具有竞争力的困惑度和迁移学习性能。

arXiv cs.CL

本文介绍了 BitLM，一种利用位级连续扩散并行生成多个 Token 的语言模型，旨在克服传统自回归生成的顺序瓶颈，同时保留因果结构。