标签
GRAS是一种用于离散扩散模型奖励对齐的无训练方法,通过降低引导提议中的方差并自适应选择粒子,在DNA和蛋白质设计任务中实现了最先进的结果。
本文提出了dLLM-SetScore,一个使用离散掩码扩散语言模型进行多标签文本分类的免训练框架,仅需少量验证数据即可达到竞争性能。
本文介绍了 Simplax,一种用于离散扩散模型的精确狄利克雷-类别增强方法,它在保留原始类别损坏过程的同时丰富了训练目标和逆向转移,在 OpenWebText 上改善了困惑度-熵权衡,在 Sudoku 上提高了有效性。
引入了Simplax,一种精确的Dirichlet-类别增强方法,用于均匀离散扩散,可改善文本和数独任务中的反向采样和生成质量。
Presents DLLM-TTS, a block discrete diffusion language model for text-to-speech synthesis that processes X-Codec2 tokens in blocks, enabling parallel generation with RTF 0.15 while achieving competitive quality with only 20K hours of training data.
本文介绍了潜核离散流映射(LKF),一种用于离散扩散模型的流映射核,通过共享潜变量捕捉位置之间的相关性,无需蒸馏即可实现少步生成,并改善了文本生成的困惑度。
PreDiff-LM 提出了一种混合注意力机制,该机制对提示令牌保持因果注意力,对掩码目标令牌使用双向注意力,从而使得预训练自回归模型能够适应离散掩码扩散语言建模,在困惑度和下游任务上相较于先前的扩散基线取得了改进。
本文介绍了一种离散扩散模型的统一概念框架,通过分词、状态空间构建来分析其设计空间,并强调了训练、推理和扩展中的权衡。
介绍MobiDiff,一种端到端的离散扩散框架,通过对多通道语义骨架进行去噪来生成人类移动数据,在实际数据集上实现了更快的推理速度和具有竞争力的保真度。
本文研究了分子优化中离散扩散模型的在线适应策略,确定了采集、奖励塑形、去偏、重放和有效性控制等互补组件,这些组件提高了小分子和蛋白质任务上的反馈效率。
提出使用轻量级策略网络学习掩码扩散模型中的去掩码顺序,通过加权损失在组合任务和蛋白质设计上优于启发式方法。
介绍TUBE,一种用于离散扩散语言模型的对数似然变分上界,实现更好的评估,并揭示掩码扩散模型仍不如自回归模型。
本文提出TokenDrift,一种漂移目标方法,通过将分类预测提升至连续语义空间进行反对称漂移,从而优化离散扩散语言模型。在固定去噪步数下,该方法显著提升了生成质量。
本文介绍了Constrained Diffusion for Code (CDC),这是一种无需训练的神经符号推理框架,它将约束满足直接集成到离散扩散模型的逆向去噪过程中,用于代码生成。CDC在功能正确性、安全性和语法方面持续提升约束满足率,在多个基准测试中优于现有的扩散模型和自回归基线。
本文针对离散扩散模型提出了'支持先于频率'假说,认为模型先学习支持(即合法序列),再优化支持内的频率。对小噪声反向核的理论分析以及在掩码语言扩散模型上的实验支持了这一论断。
本文提出了FeF-DLLM,一种通过精确前缀条件分解消除分解错误、并利用推测解码加速推理的离散扩散语言模型,在GSM8K和MATH等基准测试中显著提升了准确率和速度。
本文介绍了 DiffLNS,一种将离散去噪扩散概率模型(D3PM)与 LNS2 相结合的混合框架,用于多智能体路径规划,利用稀疏社交注意力生成热启动计划。它在复杂拥挤场景下实现了高成功率,优于基线方法。
本文介绍了一种新颖的自适应调度器,用于利用稀疏自编码器引导离散扩散语言模型,结果表明,基于特定属性提交时机进行针对性干预,比均匀方法能提升控制质量和强度。
本文介绍了一种具有新颖“胚系吸收”特性的离散扩散模型,以改善抗体序列的条件生成。该模型解决了蛋白质语言模型中的胚系偏差问题,并在优化抗体结合亲和力和可开发性方面表现出优于现有方法(如 EvoProtGrad)的性能。