标签
本文介绍了内积感知量化方法，这些方法能够保留与未见向量的内积，开发了具有可证明保证的快速自适应算法，相较于先前的ASQ方法实现了2-10倍的加速。
Shard是一个即插即用的HuggingFace缓存，通过使用PCA加int4量化处理K（键），以及Hadamard旋转加向量量化处理V（值），为Llama-3.1-8B实现了10倍的KV缓存压缩，且在基准测试中无精度损失。
本文介绍了 SDFlow，这是一种用于时间序列生成的相似性驱动流匹配框架，旨在解决自回归模型中的暴露偏差问题。通过在冻结的 VQ 潜在空间中进行低秩流形分解，SDFlow 实现了最先进的性能并显著提升了推理速度。
IndexTTS 是一个增强型文本转语音系统，结合了 XTTS 和 Tortoise 模型，采用混合字符-拼音建模和优化的向量量化，在自然度、发音可控性和推理速度上优于现有的开源 TTS 系统。