标签
作者从零构建了Joey，一个1.7亿参数的掩码扩散语言模型，在FineWeb-Edu上训练并在DailyDialog上微调，由于容量限制，模型能生成流畅但不连贯的句子。该项目突出了与自回归LLM的差异，以及从构建和调试系统中获得的经验教训。
NVIDIA推出Nemotron-Labs Diffusion，这是一系列扩散语言模型，可并行生成文本并迭代优化，从而提供更快的生成速度并支持修订之前的令牌。
这篇 ICML 单作者论文介绍了摊销式组相对策略优化（AGRPO），旨在为扩散语言模型实现高效的强化学习后训练。
本研究论文介绍了Chainwash，一种多步重写攻击，能够有效删除扩散语言模型（LLaDA-8B-Instruct）输出中的统计水印，经过五次链式重写后，检测率从87.9%降至4.86%。