codebook

本文提出Hyper-Spherical Quantization (HSQ)来解决将视觉表示离散化时的码本崩溃问题，实现了高保真重建和可扩展的码本预算，最高可达131,072，利用率达100%。

Gefen是一种内存高效的优化器，通过自动共享二阶矩估计并使用学习到的码本量化一阶矩，将AdamW的内存占用减少约8倍，同时保持与AdamW相当的性能。