dynamic-chunking

本文介绍了扩散语言模型的动态分块（DCDM），该方法使用可微分的Chunking Attention机制，用内容定义的语义块替换块离散扩散中的固定位置块，在高达1.5B参数规模上实现了一致的改进。