SemanTok：可预测语义 Token，实现高效自回归视频生成

Hugging Face Daily Papers 论文
video-generation tokenizers autoregressive diffusion-models world-models semantic-alignment

摘要

SemanTok 引入了一种变长视频 tokenizer，将冻结的 DINO 特征输入其编码器，并从每个保留的 token 前缀中重建这些特征，从而为自回归视频生成提供可预测的由粗到细语义 token。一个 2.01 亿参数的 SemanTok AR 模型即可匹配甚至超越规模为其 3.4 倍的 VideoFlexTok 模型，在不同模型规模和噪声水平下均展现出强劲的语义对齐能力与生成保真度。

近期的视频世界模型将自回归（AR）预测的可扩展性与扩散模型的视觉质量结合在了一起。场景 tokenizer 的选择对这两者的最佳性能至关重要，无论是在保真度还是语义层面。变长、由粗到细的 tokenizer 恰好能提供这种效果：最初的粗粒度 token 携带视频片段的整体语义，随后的 token 则进一步细化细节。现有的变长 tokenizer 仅在解码器早期隐藏状态上施加表征对齐（REPA）损失，而这一目标解码器可以部分地从其带噪输入中获得。我们提出了 SemanTok，一种变长视频 tokenizer：它将冻结的 DINO 特征输入编码器，并加入轻量级的头部模块，仅凭每个保留的 token 前缀来重建这些特征。SemanTok 在各个 AR 模型规模上都实现了高语义对齐与视频保真度：一个 2.01 亿参数的 SemanTok AR 模型即可匹配甚至超越规模为其 3.4 倍的 VideoFlexTok AR 模型，而更大的 SemanTok AR 模型还能进一步提升保真度。它在分布外类别上依然保持良好的语义对齐，并在包括纯噪声在内的各个噪声水平下都为解码器带来更高的语义对齐度。SemanTok 在重建与生成两方面均表现出色，其较短的 token 前缀预测成本更低、生成保真度更好，而像素级细节则由后续 token 承担。
查看原文
查看缓存全文

缓存时间: 2026/10/02 16:30

论文页面 - SemanTok：面向高效自回归视频生成的可预测语义 Token

来源：https://huggingface.co/papers/2610.00686

摘要

近期基于视频的世界模型将自回归（AR）预测的可扩展性与扩散模型的视觉质量相结合。场景分词器（scene tokenizer）的选择对两者各自的最优表现都至关重要，既涉及保真度，也涉及语义。灵活长度、由粗到精的分词器恰好能带来这一效果：最初的粗粒度 token 携带片段的全局语义，后续 token 则进一步刻画细节。现有的灵活长度分词器仅在早期解码器隐藏状态上施加表征对齐（REPA）损失，而解码器可以从其含噪输入中部分满足这一目标。我们提出 SemanTok，这是一个灵活的视频分词器，它将冻结的 DINO 特征输入编码器，并添加轻量级头部，使其能够仅从每个保留的 token 前缀单独重建这些特征。SemanTok 在各种 AR 模型规模上都实现了高语义对齐与视频保真度：一个 201M 参数的 SemanTok AR 模型即可匹敌甚至超越其 3.4 倍大小的 VideoFlexTok AR 模型，而规模更大的 SemanTok AR 模型还能进一步提升保真度。它在分布外类别上仍能保持语义对齐，并在包括纯噪声在内的各个噪声层级上，都为解码器提供了更高的语义对齐程度。它在重建与生成任务上均表现良好，其短 token 前缀更易于预测，同时能带来更好的生成保真度，像素级细节则被延迟到后续 token 中。

查看 arXiv 页面 | 查看 PDF | 项目主页 | GitHub0 | 加入收藏

在你的 agent 中获取此论文：

hf papers read 2610.00686

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.00686，即可在此页面上建立链接。

引用此论文的数据集0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.00686，即可在此页面上建立链接。

引用此论文的 Spaces0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.00686，即可在此页面上建立链接。

包含此论文的集合0

暂无集合包含此论文

将此论文添加到集合，即可在此页面上建立链接。

相似文章

AVTok: 面向整体音视频生成的一维统一标记化

Hugging Face Daily Papers

AVTok提出了一种用于音视频生成的统一一维标记器，采用双流Transformer架构，具有共享编码器-解码器和模态特定查询，实现了紧凑的潜在表示，在重建和下游生成任务中表现出色。

基于时间冗余掩蔽和潜在修补的自适应令牌化 [R]

Reddit r/MachineLearning

本文提出了一种自适应视频令牌化方法，利用潜在空间中的时间冗余动态分配令牌，实现高效压缩，无需辅助网络。所提出的潜在修补变压器（Latent Inpainting Transformer）重建被丢弃的位置，相比ElasticTok-CV实现31倍加速，相比InfoTok实现2倍加速。

QuadTok：面向自回归图像生成的四叉树视觉分词器

Hugging Face Daily Papers

QuadTok 提出了一种基于层次化四叉树的视觉分词器，能够动态地将 token 分配给图像中细节丰富的区域，在 ImageNet 上节省约 10% 的 token，同时使一个 947M 参数的 GPT 式模型在 ImageNet 256x256 上达到 2.08 gFID，并支持零样本空间可控生成。