efficient-caching

#efficient-caching

@alec_helbling: 扩散语言模型并行生成多个令牌。然而，迭代解掩码反复更新令牌状态，限制了…

X AI KOLs Following ↗ · 2026-09-11 缓存

该文章描述了扩散语言模型由于迭代解掩码而面临KV缓存重用限制，并引入了Block Diffusion作为解决方案，该方案通过左到右解码块来实现高效缓存，同时并行生成。

0 人收藏 0 人点赞