论文页面 - 保留还是丢弃？用于紧凑视频表示的自适应分词器

来源：https://huggingface.co/papers/2608.24293
发布于 8 月 25 日

·

由 https://huggingface.co/yeon-kyeong 提交

lee (https://huggingface.co/yeon-kyeong) 于 9 月 1 日发布

摘要

KATok 是一个基于自适应 Transformer 的视频分词器，它可以选择性地丢弃信息量不大的 token，以实现依赖于数据的压缩，同时保持空间一致性以用于基于扩散的生成。

潜在扩散模型 (https://huggingface.co/papers?q=Latent%20diffusion%20models) 已成为高保真图像和视频合成的主要框架，它们在紧凑的潜在空间中运行，并使用变分自编码器 (https://huggingface.co/papers?q=variational%20autoencoders) (VAEs) 来提高计算效率，且不影响视觉质量。然而，传统的 VAEs 对视频数据来说并非最优，因为它们采用固定的压缩比，无法适应时空内容复杂度的变化。我们提出了 KATok（保留还是丢弃？用于紧凑视频表示的自适应分词器），这是一个基于 Transformer 的 VAE，它包含一个与潜在 token 联合学习的自适应 token 选择器 (https://huggingface.co/papers?q=adaptive%20token%20selector)。通过评估每个 token 的内容丰富度作为保留-丢弃概率 (https://huggingface.co/papers?q=keep-or-drop%20probability)，该选择器有效地丢弃了信息量不大的 token，自然地实现了依赖于数据的压缩。

将自适应分词应用于扩散模型可能会导致空间错位，因为 token 丢弃可能会扰乱原始的时空结构。为了缓解这个问题，我们提出了两种位置预测策略 (https://huggingface.co/papers?q=position-predetection%20strategies)：级联和联合生成 (https://huggingface.co/papers?q=joint%20generation)，以确保空间一致性。我们的实证研究表明，我们的模型在最先进的压缩比下实现了强大的重建和生成质量。对视频数据的进一步分析表明，这种改进主要通过减少时空冗余 (https://huggingface.co/papers?q=spatio-temporal%20redundancy) 和移除信息量不大的 token 来实现，定量和定性结果都支持了这一点。

查看 arXiv 页面 (https://arxiv.org/abs/2608.24293) 查看 PDF (https://arxiv.org/pdf/2608.24293) 项目页面 (https://kakao.github.io/KATok/) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.24293)

在您的智能体中获取此论文：

hf papers read 2608\.24293

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.24293 以从本页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.24293 以从本页面链接它。

引用此论文的空间 0

没有空间链接此论文

在空间 README.md 中引用 arxiv.org/abs/2608.24293 以从本页面链接它。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection) 以从本页面链接它。