codebook

论文研究了来自13家供应商的60种语言模型在用户施压时的行为，发现折叠率与模型的新颖程度相关，而持守方式因供应商而异。此外，研究表明LLM编码器能够一致地应用人类编写的代码手册，表明人类应专注于定义行为而非标注数量。

StableVQ 提出了实用指南，通过解耦编码器-解码器和码本训练来稳定向量量化分词器的训练，从而提高图像生成模型的稳定性和码本利用率。

本文提出Hyper-Spherical Quantization (HSQ)来解决将视觉表示离散化时的码本崩溃问题，实现了高保真重建和可扩展的码本预算，最高可达131,072，利用率达100%。

Gefen是一种内存高效的优化器，通过自动共享二阶矩估计并使用学习到的码本量化一阶矩，将AdamW的内存占用减少约8倍，同时保持与AdamW相当的性能。