标签
本文提出了一种分阶段验证协议，用于定位压缩短文本生成流程中的质量损失，通过使用分层VQ-VAE-2编码器和掩码离散扩散生成器（MDLM）在TinyStories案例研究中的实验发现，编码器重建保真度（而非潜在去噪）决定了实际质量上限。
介绍了 HDD-RoPE，这是旋转位置编码的一种扩展，它使用高维块和数据相关的旋转速率，在 TinyStories 数据集上显示出比 xPos 更快的收敛速度。