标签
提出了一种无需训练的语义感知核熵（SAKE）引导方法，用于文本扩散模型，利用核格拉姆矩阵上的二阶Rényi熵在采样过程中平衡保真度与多样性。实验表明，在推理密集型任务上，该方法改善了Pareto前沿和多样本性能。
DeepMind研究员Brendan O'Donoghue深入介绍文本扩散模型，通过迭代去噪生成文本，相比自回归模型延迟更低但吞吐量受限，并展示自修正和动态计算等独特优势。
Google DeepMind 发布了 DiffusionGemma，这是一个开放实验模型，以块的形式生成文本而非逐词生成，实现了自我修正和更快的输出。
本文介绍了安全感知去噪器（SAD），这是一个在去噪过程中将安全约束整合到文本扩散模型中的框架。其目标是在保持生成质量的同时减少不安全内容的生成，填补了非自回归模型安全研究领域的空白。
快速字节潜在变换器（BLT-D）已被 ICML 2026 接收，它引入了一种文本扩散方法，用于并行字节级解码，以克服传统字节级语言模型的速度限制。