VQ-bench:可组合的向量量化框架

arXiv cs.AI 论文

摘要

本文介绍了VQ-bench,一个用于组合和评测向量量化算法的统一框架,将25种常见量化器重新表示为原语流水线,并发布可复现的基准测试结果。

arXiv:2608.11240v1 公告类型:新 摘要:向量量化是一个旧问题,但最近已成为AI基础设施的核心。因此,它正经历新一轮的工程和研究活动。本文提供了一个统一框架,用于开发和基准测试新的量化算法。我们描述了7种常见的概念性量化原语,并展示了如何任意组合它们。然后,我们将25种常见量化器重新表示为这些原语的流水线。最后,我们开源发布VQ-bench以进一步扩展,并公开提供可复现的基准测试。
查看原文
查看缓存全文

缓存时间: 2026/08/13 15:24

# VQ-bench:一个可组合的向量量化框架  
来源:https://arxiv.org/abs/2608.11240  
查看 PDF (https://arxiv.org/pdf/2608.11240)

> 摘要:向量量化是一个老问题,但近来已成为 AI 基础设施的核心。因此,它正经历一波新的工程与研究活动的激增。本文为开发和基准测试新的量化算法提供了一个统一框架。我们描述了7种常见的概念性量化原语,并展示了如何将它们任意组合。然后,我们将25种常见的量化器重新表达为这些原语的流水线。最后,我们以开源形式发布 VQ-bench 以供进一步扩展,并提供可复现的基准测试结果。

## 提交历史

来自:Edo Liberty [查看电子邮件](https://arxiv.org/show-email/14071a38/2608.11240) **\[v1\]** 2026年7月31日(周五)15:24:12 UTC(2,567 KB)

相似文章

UniSVQ: 2-bit统一标量-向量量化

arXiv cs.CL

UniSVQ提出了一种统一的2位量化框架,通过将码字参数化为整数格点的仿射变换,桥接了标量量化与向量量化,在标量方法中达到了最先进水平,并与向量方法性能相当且具有更高的吞吐量。

ViQ:任意分辨率下的文本对齐视觉量化表示

Hugging Face Daily Papers

ViQ提出了一种视觉量化框架,在离散表示中平衡了语义丰富性和细节保留,通过文本对齐预训练和邻近表示学习,支持原生分辨率输入,实现高效的多模态训练。

Channel-wise Vector Quantization

Hugging Face Daily Papers

通道级向量量化(Channel-wise Vector Quantization, CVQ)用通道级标记替换块级标记进行图像标记化,实现了一个下一通道预测框架(CAR),该框架通过逐步细化视觉细节生成图像,在重建和文本到图像生成性能上表现出色。