parallel-token-generation

#parallel-token-generation

Orthrus：通过双视图扩散实现内存高效的并行令牌生成

Hugging Face Daily Papers ↗ · 2026-05-12 缓存

Orthrus 是一个双架构框架，结合了自回归大语言模型与扩散模型，通过共享KV缓存和共识机制实现快速并行令牌生成，同时保持精确推理保真度，速度提升最高可达7.8倍。

0 人收藏 0 人点赞