标签
NVIDIA 发布 Nemotron-Labs-Sigma 8B/3B,这是一系列连续空间扩散语言模型,使用 DDPM/DDIM 采样器,以并行分块方式对 16 维词元嵌入进行去噪,在准确率上可与掩码扩散语言模型媲美,同时支持少步蒸馏和生成引导。
CRoCoDiL提出了一种用于语言的连续且鲁棒的条件扩散方法,将掩码扩散模型转移到连续语义空间中,相比LLaDA等离散方法,生成质量更优,采样速度快10倍。