VQ-bench:可组合的向量量化框架
摘要
本文介绍了VQ-bench,一个用于组合和评测向量量化算法的统一框架,将25种常见量化器重新表示为原语流水线,并发布可复现的基准测试结果。
arXiv:2608.11240v1 公告类型:新
摘要:向量量化是一个旧问题,但最近已成为AI基础设施的核心。因此,它正经历新一轮的工程和研究活动。本文提供了一个统一框架,用于开发和基准测试新的量化算法。我们描述了7种常见的概念性量化原语,并展示了如何任意组合它们。然后,我们将25种常见量化器重新表示为这些原语的流水线。最后,我们开源发布VQ-bench以进一步扩展,并公开提供可复现的基准测试。
查看缓存全文
缓存时间: 2026/08/13 15:24
# VQ-bench:一个可组合的向量量化框架 来源:https://arxiv.org/abs/2608.11240 查看 PDF (https://arxiv.org/pdf/2608.11240) > 摘要:向量量化是一个老问题,但近来已成为 AI 基础设施的核心。因此,它正经历一波新的工程与研究活动的激增。本文为开发和基准测试新的量化算法提供了一个统一框架。我们描述了7种常见的概念性量化原语,并展示了如何将它们任意组合。然后,我们将25种常见的量化器重新表达为这些原语的流水线。最后,我们以开源形式发布 VQ-bench 以供进一步扩展,并提供可复现的基准测试结果。 ## 提交历史 来自:Edo Liberty [查看电子邮件](https://arxiv.org/show-email/14071a38/2608.11240) **\[v1\]** 2026年7月31日(周五)15:24:12 UTC(2,567 KB)
相似文章
UniSVQ: 2-bit统一标量-向量量化
UniSVQ提出了一种统一的2位量化框架,通过将码字参数化为整数格点的仿射变换,桥接了标量量化与向量量化,在标量方法中达到了最先进水平,并与向量方法性能相当且具有更高的吞吐量。
这是我的KV缓存量化基准测试:TurboQuant被高估但被TCQ拯救,q5值得更多关注,对称q8可能浪费显存
一项详细的基准测试,使用PPL和KLD指标在Qwen 3.6 27B上比较KV缓存量化方法(TurboQuant、TCQ、q4、q5、q8),发现TCQ改进了低位量化,不对称KV在相同大小下优于对称KV,且q8通常过于夸张。包含分析和数据,见链接文章。
ViQ:任意分辨率下的文本对齐视觉量化表示
ViQ提出了一种视觉量化框架,在离散表示中平衡了语义丰富性和细节保留,通过文本对齐预训练和邻近表示学习,支持原生分辨率输入,实现高效的多模态训练。
Channel-wise Vector Quantization
通道级向量量化(Channel-wise Vector Quantization, CVQ)用通道级标记替换块级标记进行图像标记化,实现了一个下一通道预测框架(CAR),该框架通过逐步细化视觉细节生成图像,在重建和文本到图像生成性能上表现出色。
受 TurboQuant 启发的 KV 缓存量化方案的统计推断与质量评估
本文分析了受 TurboQuant 启发的 KV 缓存量化方案,利用统计推断和新的 6D 误差框架来评估 KL 散度、几何误差等质量指标。