MixTok:基于全局 1D Token 与稀疏 2D 精修的自适应视觉 Token 化
摘要
MixTok 是一种混合视觉 tokenizer,将紧凑的 1D 全局表示与用于局部精修的稀疏 2D token 相结合,通过内容自适应路由器分配 token 预算,在 ImageNet 256x256 上以约 128/131 token 的平均预算达到 rFID 1.195 和 agFID 1.95 的竞争性重建与生成性能。
查看缓存全文
缓存时间: 2026/10/12 06:54
论文页面 - MixTok:基于全局 1D Token 与稀疏 2D 细化的自适应视觉 Tokenization
来源:https://huggingface.co/papers/2610.13181
摘要
高效的视觉 tokenization 需要在表示的紧凑性与细粒度图像内容的保留之间取得平衡。传统的基于网格的 tokenizer 在空间位置上均匀分配 token,尽管视觉复杂度并非均匀分布;而紧凑的 1D tokenizer 能够聚合全局信息,但往往难以保留局部细节。我们提出 MixTok,一种混合式视觉 tokenizer,它将紧凑的 1D 全局表示与用于局部细化的稀疏 2D token 相结合。一个内容自适应路由器根据细化优先级对候选位置进行排名,并在目标平均 token 预算下确定每张图像所需的 2D token 数量。在得分最高的位置,2D token 特征会替换从 1D 表示中恢复的空间特征,随后一个共享解码器从这些混合特征重建图像。在 ImageNet 256x256 上,MixTok 取得了极具竞争力的重建和生成性能,rFID 为 1.195、agFID 为 1.95,每张图像的平均内容 token 预算分别约为 128 和 131。
查看 arXiv 页面 (https://arxiv.org/abs/2610.13181) | 查看 PDF (https://arxiv.org/pdf/2610.13181) | 项目页面 (https://lcglichenge.github.io/MixTok-page/) | GitHub (https://github.com/LCGLiChenge/MixTok) | 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.13181)
在你的 agent 中获取此论文:
hf papers read 2610.13181
没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无模型关联此论文
在模型的 README.md 中引用 arxiv.org/abs/2610.13181,即可从此页面链接该模型。
引用此论文的数据集 0
暂无数据集关联此论文
在数据集的 README.md 中引用 arxiv.org/abs/2610.13181,即可从此页面链接该数据集。
引用此论文的 Spaces 0
暂无 Space 关联此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.13181,即可从此页面链接该 Space。
包含此论文的合集 0
暂无合集包含此论文
将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。
相似文章
图像分词器应在图像之间进行训练
提出InterpTok,通过在训练样本之间的编码混合空间中训练解码器,改进图像分词器的插值与生成质量,在MAETok基础上将插值质量提升三倍以上,并将扩散Transformer的生成FID从11.61降至8.48(无引导)。
QuadTok:面向自回归图像生成的四叉树视觉分词器
QuadTok 提出了一种基于层次化四叉树的视觉分词器,能够动态地将 token 分配给图像中细节丰富的区域,在 ImageNet 上节省约 10% 的 token,同时使一个 947M 参数的 GPT 式模型在 ImageNet 256x256 上达到 2.08 gFID,并支持零样本空间可控生成。
InsightTok:在离散标记化中提升文本与人脸保真度以改进自回归图像生成
InsightTok 引入内容感知的感知损失,改进离散视觉标记化以更好地重建文本和人脸,从而提升自回归图像生成质量。
BudgetPix:面向像素空间图像扩散的计算自适应分词
BudgetPix提出一种计算自适应的词元化框架,通过熵引导的四叉树和多尺度图像块嵌入器,根据视觉复杂度动态分配计算预算,仅用25%的计算量即可达到现有像素空间扩散模型的生成质量。
从二维网格到一维标记:改革多模态图像融合的共享表示
本文提出了一种多模态图像融合方法,该方法使用来自预训练图像标记器的一维标记接口,通过选择性标记编辑(STE)来增强全局外观一致性,同时保留局部细节。在四个基准上的实验表明,该方法在全局一致性和局部保真度方面均达到了最先进性能。