MixTok:基于全局 1D Token 与稀疏 2D 精修的自适应视觉 Token 化

Hugging Face Daily Papers 论文

摘要

MixTok 是一种混合视觉 tokenizer,将紧凑的 1D 全局表示与用于局部精修的稀疏 2D token 相结合,通过内容自适应路由器分配 token 预算,在 ImageNet 256x256 上以约 128/131 token 的平均预算达到 rFID 1.195 和 agFID 1.95 的竞争性重建与生成性能。

高效的视觉 token 化需要在表示的紧凑性与细粒度图像内容的保留之间取得平衡。传统的基于网格的 tokenizer 尽管视觉复杂度分布不均匀,仍在所有空间位置上均匀分配 token;而紧凑的 1D tokenizer 虽能聚合全局信息,却往往难以保留局部细节。我们提出 MixTok,一种混合视觉 tokenizer,它将紧凑的 1D 全局表示与用于局部精修的稀疏 2D token 结合起来。一个内容自适应路由器按精修优先级对候选位置进行排序,并在目标平均 token 预算下确定每张图像所需的 2D token 数量。在得分最高的位置上,2D token 特征会替换从 1D 表示中恢复的空间特征,随后由一个共享解码器从这些混合特征中重建图像。在 ImageNet 256 x 256 上,MixTok 取得了极具竞争力的重建与生成性能,在平均每张图像分别约使用 128 和 131 个内容 token 的预算下,rFID 达到 1.195,gFID 达到 1.95。
查看原文
查看缓存全文

缓存时间: 2026/10/12 06:54

论文页面 - MixTok:基于全局 1D Token 与稀疏 2D 细化的自适应视觉 Tokenization

来源:https://huggingface.co/papers/2610.13181

摘要

高效的视觉 tokenization 需要在表示的紧凑性与细粒度图像内容的保留之间取得平衡。传统的基于网格的 tokenizer 在空间位置上均匀分配 token,尽管视觉复杂度并非均匀分布;而紧凑的 1D tokenizer 能够聚合全局信息,但往往难以保留局部细节。我们提出 MixTok,一种混合式视觉 tokenizer,它将紧凑的 1D 全局表示与用于局部细化的稀疏 2D token 相结合。一个内容自适应路由器根据细化优先级对候选位置进行排名,并在目标平均 token 预算下确定每张图像所需的 2D token 数量。在得分最高的位置,2D token 特征会替换从 1D 表示中恢复的空间特征,随后一个共享解码器从这些混合特征重建图像。在 ImageNet 256x256 上,MixTok 取得了极具竞争力的重建和生成性能,rFID 为 1.195、agFID 为 1.95,每张图像的平均内容 token 预算分别约为 128 和 131。

查看 arXiv 页面 (https://arxiv.org/abs/2610.13181) | 查看 PDF (https://arxiv.org/pdf/2610.13181) | 项目页面 (https://lcglichenge.github.io/MixTok-page/) | GitHub (https://github.com/LCGLiChenge/MixTok) | 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.13181)

在你的 agent 中获取此论文:

hf papers read 2610.13181

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.13181,即可从此页面链接该模型。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.13181,即可从此页面链接该数据集。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.13181,即可从此页面链接该 Space。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。

相似文章

图像分词器应在图像之间进行训练

Hugging Face Daily Papers

提出InterpTok,通过在训练样本之间的编码混合空间中训练解码器,改进图像分词器的插值与生成质量,在MAETok基础上将插值质量提升三倍以上,并将扩散Transformer的生成FID从11.61降至8.48(无引导)。

QuadTok:面向自回归图像生成的四叉树视觉分词器

Hugging Face Daily Papers

QuadTok 提出了一种基于层次化四叉树的视觉分词器,能够动态地将 token 分配给图像中细节丰富的区域,在 ImageNet 上节省约 10% 的 token,同时使一个 947M 参数的 GPT 式模型在 ImageNet 256x256 上达到 2.08 gFID,并支持零样本空间可控生成。

BudgetPix:面向像素空间图像扩散的计算自适应分词

Hugging Face Daily Papers

BudgetPix提出一种计算自适应的词元化框架,通过熵引导的四叉树和多尺度图像块嵌入器,根据视觉复杂度动态分配计算预算,仅用25%的计算量即可达到现有像素空间扩散模型的生成质量。

从二维网格到一维标记:改革多模态图像融合的共享表示

Hugging Face Daily Papers

本文提出了一种多模态图像融合方法,该方法使用来自预训练图像标记器的一维标记接口,通过选择性标记编辑(STE)来增强全局外观一致性,同时保留局部细节。在四个基准上的实验表明,该方法在全局一致性和局部保真度方面均达到了最先进性能。