self-speculation

加州大学圣巴巴拉分校和 LinkedIn 的新研究提出了一种自推测代理，将代理和推测者角色统一到一个模型中，通过联合代理-推测者强化学习提高了下一个工具调用预测准确率（Hit@1），同时保持了任务成功率。

NVIDIA发布了Nemotron-Labs-Diffusion，这是一个扩散语言模型系列，可以并行生成多个token，从而实现更快的推理和更好的GPU利用率，模型规模从3B到14B，包括视觉语言变体。

NVIDIA发布了Nemotron-Labs-Diffusion模型系列（3B至14B），该系列同时支持AR解码和扩散解码，并采用新颖的自推测机制，在多种硬件平台上相比标准AR和Eagle3方法实现了显著加速（最高达4倍）。

NVIDIA发布了Nemotron-Labs-Diffusion，这是一个三模式语言模型系列（3B、8B、14B），支持自回归（AR）、扩散和自推测解码，相比标准AR解码实现了2.7倍到4倍的加速。