标签
NVIDIA推出了TwoTower，这是一种在扩散语言模型中解耦上下文表示和去噪的方法，在30B MoE主干上实现了2.42倍的吞吐量，同时保留了98.7%的自回归质量。
NVIDIA Research推出Nemotron-Labs-TwoTower，这是一种扩散语言模型，它将一个300亿参数的模型分成两半，实现并行token生成，生成速度提升2.42倍，同时保持了原始质量的98.7%。
TAG-DLM 在一个掩码扩散语言模型中统一了文本推理与图消息传递，使得能够在节点分类和链接预测任务中联合推理文本与图拓扑。
本文提出了Nemotron-TwoTower，一种扩散语言模型，通过冻结的自回归塔和可训练的扩散去噪器解耦上下文表示与去噪过程，以2.42倍吞吐量达到了基线质量98.7%的水平。
作者从零构建了Joey，一个1.7亿参数的掩码扩散语言模型，在FineWeb-Edu上训练并在DailyDialog上微调，由于容量限制，模型能生成流畅但不连贯的句子。该项目突出了与自回归LLM的差异，以及从构建和调试系统中获得的经验教训。
NVIDIA推出Nemotron-Labs Diffusion，这是一系列扩散语言模型，可并行生成文本并迭代优化，从而提供更快的生成速度并支持修订之前的令牌。
这篇 ICML 单作者论文介绍了摊销式组相对策略优化（AGRPO），旨在为扩散语言模型实现高效的强化学习后训练。
本研究论文介绍了Chainwash，一种多步重写攻击，能够有效删除扩散语言模型（LLaDA-8B-Instruct）输出中的统计水印，经过五次链式重写后，检测率从87.9%降至4.86%。
本文介绍了令牌时间连续扩散（Token Time Continuous Diffusion，简称TTCD），这是一种新型扩散语言模型，它在连续空间中运行，采用每个令牌的时间步，在条件生成和数独求解方面以高加速比优于离散模型。