标签
NVIDIA提出了一种方法，将任何LLM转换为更快的版本，方法是将模型拆分为两个副本：一个冻结用于上下文，另一个训练用于并行生成多个token，实现了2.4倍加速，且质量保留约99%，仅使用了8%的训练数据。
NVIDIA Research推出Nemotron-Labs-TwoTower，这是一种扩散语言模型，它将一个300亿参数的模型分成两半，实现并行token生成，生成速度提升2.42倍，同时保持了原始质量的98.7%。
本文介绍了一种低延迟实时音频游戏解说系统，该系统利用基于LLM的并行文本生成技术，将语句间的静默时间从9.6秒减少到0.3秒，与顺序基线相比显著改善了感知到的说话节奏。
NVIDIA 优化了 Google DeepMind 的 DiffusionGemma——一个能并行生成 256 个令牌文本块的开放模型，在本地 RTX GPU、DGX Spark 和 DGX Station 系统上实现了高达 4 倍的性能提升。
DiffusionGemma 是 Google DeepMind 推出的全新实验模型，可在 256 令牌画布上实现并行生成，在 GPU 上令牌生成速度提升高达 4 倍。本开发者指南阐述了其架构、双向上下文，并提供了用于解决数独的微调配方。
Orthrus是一种双架构框架，融合了自回归LLM的保真度和扩散模型的速度，在Qwen3模型上实现高达7.8倍的加速，同时保证输出分布完全相同。
本文提出了FeF-DLLM，一种通过精确前缀条件分解消除分解错误、并利用推测解码加速推理的离散扩散语言模型，在GSM8K和MATH等基准测试中显著提升了准确率和速度。
本文介绍了 DiffRetriever，这是一种利用扩散语言模型并行生成多个代表性令牌以实现高效信息检索的方法，在速度和准确率上均优于自回归基线方法。
DFlash 是一种新的投机解码框架，它使用轻量级的块扩散模型进行并行标记起草，与自回归方法相比，实现了超过 6 倍的加速。在保持高输出质量的同时，其性能显著优于现有的最先进方法（如 EAGLE-3）。