Paper page - Channel-wise Vector Quantization

Source: https://huggingface.co/papers/2605.26089

摘要

Channel-wise Vector Quantization 将图像标记化中的逐块（patch-wise）标记替换为逐通道（channel-wise）标记，从而构建了一个“下一通道预测”框架，通过逐步细化视觉细节来生成图像。

我们提出 Channel-wise Vector Quantization (https://huggingface.co/papers?q=Channel-wise%20Vector%20Quantization)（CVQ），这是一种全新的图像标记化 (https://huggingface.co/papers?q=image%20tokenization) 范式，用逐通道标记 (https://huggingface.co/papers?q=channel-wise%20tokens) 取代了传统的逐块标记 (https://huggingface.co/papers?q=patch-wise%20tokens)。与传统的向量量化 (https://huggingface.co/papers?q=vector%20quantization) 不同（后者为每个块的特征向量分配一个离散标记），CVQ 对特征图的每个通道分别进行量化。这种表示方式将图像刻画为视觉细节的离散层级，而非按空间块网格排列。基于 CVQ，我们引入了新的视觉自回归框架 (https://huggingface.co/papers?q=visual%20autoregressive%20framework)，采用“下一通道预测 (https://huggingface.co/papers?q=next-channel%20prediction)”。我们的 Channel-wise Autoregressive (https://huggingface.co/papers?q=Channel-wise%20Autoregressive)（CAR）模型不再逐块按光栅顺序渲染图像，而是按顺序依次预测图像的各个通道，逐步生成越来越丰富的视觉细节。具体来说，它先勾勒出整体结构，再细化精细属性，类似于人类艺术家的创作流程。实验证明：(1) CVQ 在 16K+ 的码本大小下，无需任何额外技巧即可实现 100% 的码本利用率 (https://huggingface.co/papers?q=codebook%20utilization)，并且相比传统 VQ 大幅提升了重建质量 (https://huggingface.co/papers?q=reconstruction%20quality)；(2) CAR 模型取得了 86.7 的 DPG 分数 (https://huggingface.co/papers?q=DPG%20score) 和 0.79 的 GenEval 分数 (https://huggingface.co/papers?q=GenEval%20score)，在文本到图像生成 (https://huggingface.co/papers?q=text-to-image%20generation) 任务中展现了强大的有效性。

查看 arXiv 页面 (https://arxiv.org/abs/2605.26089)查看 PDF (https://arxiv.org/pdf/2605.26089)项目页面 (https://github.com/songweii/CVQ)GitHub1 (https://github.com/songweii/CVQ)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.26089)

在你的 agent 中获取本文：

hf papers read 2605\.26089

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型：0

无模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2605.26089 以从此页面链接。

引用本论文的数据集：0

无数据集链接本论文

在数据集 README.md 中引用 arxiv.org/abs/2605.26089 以从此页面链接。

引用本论文的 Spaces：0

无 Space 链接本论文

在 Space README.md 中引用 arxiv.org/abs/2605.26089 以从此页面链接。

包含本论文的收藏：1