标签
DPara是一个并行推测解码框架,通过预计算草稿表示来消除概率性回退,在Qwen3模型上相比自回归解码实现了平均3.21倍到3.52倍的速度提升。
Anthropic已开源其AI模型Claude编写的GPU优化,显著提升了超过30个生物分子模型的速度,平均提高4倍。
本文提出FIBER,一种新型的GPU执行模型,通过解耦线程-寄存器所有权,实现动态并行和细粒度调度,在AI工作负载(如LLMs)的张量计算中取得显著性能提升。