llm-acceleration

研究人员提出 ORL（On-Policy Residual Learning）与自研推理引擎 dlmrt，使扩散语言模型在单张 RTX 5090 上达到 2,788 tokens/s，8×B200 上达 7,708 tokens/s，端到端吞吐提升最高 6.9 倍且质量不降，模型、训练代码与推理引擎全部开源。

本文提出L0-MoE，一种使用L0正则化的轻量级混合专家模型方法，用于加速稠密LLMs，最高可实现2.5倍加速，同时保持竞争力的性能。

谷歌研究院推出了一种新架构，使用冻结的Multi-Token Prediction在Pixel设备上加速Gemini Nano模型，显著提升了设备端AI特性的速度和能效。

JetFlow是一个推测解码框架，通过结合单次前向草稿效率与分支级因果条件，打破了缩放天花板，在数学基准上实现了高达9.64倍的加速，并在密集型和MoE Qwen3模型上优于先前方法。