读取、分配、路由：面向像素空间生成式 Transformer 的角色耦合词元化

Hugging Face Daily Papers 论文
image-generation transformers pixel-space tokenization spectral-analysis diffusion-models efficient-attention

摘要

SpecSlot 是一种像素空间 rectified-flow Transformer，通过将空间锚点扩展为分配不相交 DCT 系数带的多个槽位，并仅让最低频槽参与全局注意力，在不增加计算成本的情况下提升图像细节生成质量。

像素空间生成式 Transformer 通常为每个图像块使用一个 token，因此，捕捉更精细的细节需要更多 token，也使全局注意力的计算开销越来越大。我们观察到，更精细的细节并不一定需要更多全局通信：低频结构受益于全局信息交换，而高频细节可以在局部建模。基于这一洞察，我们提出了 SpecSlot，这是一种像素空间整流流 Transformer，将输出细节与全局注意力序列的长度解耦。SpecSlot 将每个空间锚点扩展为多个槽位，每个槽位负责一个互不重叠的 DCT 系数频带，从而将锚点密度与频谱细分分离。每个锚点中只有频率最低的槽位参与全局注意力，而所有槽位都在局部交互。这使模型能够在不延长全局序列的情况下增加频谱细节。空间预测头进一步为频谱预测添加局部修正，而生成状态、目标和损失均保留在像素空间中。在 ImageNet-256 上，SpecSlot 的最终 FID 与 FLOPs 匹配的 JiT 对照模型相当，同时收敛更快。在 ImageNet-512 上，它在 FLOPs 减少 3.9% 的情况下，相比对照模型将 FID 降低了 2.84，并且在计算开销降低 38.2% 的情况下，与 JiT-B/16 的 FID 差距仅为 0.69。在文本到图像生成任务中，SpecSlot 在前向计算开销降低 40.6% 的情况下，在 DPG-Bench 上的得分比 JiT-B/8 高出 1.06。
查看原文
查看缓存全文

缓存时间: 2026/10/30 11:09

论文页面 - 读取、分配、路由：用于像素空间生成式 Transformer 的角色耦合词元化

来源：https://huggingface.co/papers/2610.40647

摘要

SpecSlot 通过使用局部频谱槽和受限的全局注意力来改进像素空间生成式 Transformer，在不增加计算成本的情况下提升图像细节。

像素空间生成式 Transformer 通常为每个图像块使用一个词元，因此捕捉更精细的细节需要更多词元，并使全局注意力 (https://huggingface.co/papers?q=global%20attention) 的计算成本越来越高。我们观察到，更精细的细节并不一定需要更多全局通信：低频结构受益于全局信息交换，而高频细节可以在局部建模。基于这一见解，我们提出了 SpecSlot，这是一种像素空间校正流 Transformer (https://huggingface.co/papers?q=rectified-flow%20Transformer)，可将输出细节与全局注意力 (https://huggingface.co/papers?q=global%20attention) 序列的长度解耦。SpecSlot 将每个空间锚点扩展为多个槽，每个槽分配一个互不重叠的 DCT 系数 (https://huggingface.co/papers?q=DCT%20coefficients) 频带；这将锚点密度与频谱细分分离开来。每个锚点中只有频率最低的槽参与全局注意力 (https://huggingface.co/papers?q=global%20attention)，而所有槽都在局部交互。这使模型能够在不扩大全局序列的情况下增加频谱细节。空间头 (https://huggingface.co/papers?q=spatial%20head) 进一步为频谱预测添加局部修正，而生成状态、目标和损失仍保留在像素空间中。在 ImageNet-256 上，SpecSlot 的最终 FID (https://huggingface.co/papers?q=FID) 与 FLOPs 相当的 JiT 对照模型相近，同时收敛更快。在 ImageNet-512 上，它在 FLOPs 减少 3.9% 的情况下，相比对照模型将 FID (https://huggingface.co/papers?q=FID) 改善了 2.84，并以低 38.2% 的成本实现了与 JiT-B/16 仅相差 0.69 的 FID (https://huggingface.co/papers?q=FID)。在文本生成图像 (https://huggingface.co/papers?q=text-to-image%20generation) 任务中，SpecSlot 在 DPG-Bench 上比 JiT-B/8 高出 1.06 分，同时前向计算成本降低了 40.6%。

查看 arXiv 页面 (https://arxiv.org/abs/2610.40647)查看 PDF (https://arxiv.org/pdf/2610.40647)项目页面 (https://yangjiongfan.site/specslot/)GitHub10 (https://github.com/JiongfanYang/SpecSlot)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.40647)

在你的智能体中获取这篇论文：

hf papers read 2610\.40647

尚未安装最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有关联这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.40647，即可从此页面链接到该模型。

引用这篇论文的数据集0

没有关联这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.40647，即可从此页面链接到该数据集。

引用这篇论文的 Space0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.40647，即可从此页面链接到该 Space。

包含这篇论文的合集0

没有包含这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集。

相似文章

BudgetPix：面向像素空间图像扩散的计算自适应分词

Hugging Face Daily Papers

BudgetPix提出一种计算自适应的词元化框架，通过熵引导的四叉树和多尺度图像块嵌入器，根据视觉复杂度动态分配计算预算，仅用25%的计算量即可达到现有像素空间扩散模型的生成质量。

寄存器对像素空间扩散变换器的重要性

Hugging Face Daily Papers

本文探讨了在像素空间扩散变换器（DiTs）中使用寄存器令牌的情况，发现尽管DiTs没有补丁令牌异常值，但寄存器令牌仍能提高特征图质量。作者提出了寄存器引导（Register Guidance）技术，用于放大寄存器贡献，以改善视觉结构。

学习表征以引导像素扩散 Transformer

Hugging Face Daily Papers

论文提出表示引导（Representation Guidance，RG），在保持纯 Transformer 架构的前提下，通过低维瓶颈形成并主动利用内部表示来指导像素扩散模型的生成。RG-XL/16 在 ImageNet 256x256 上取得 FID 1.55，并可扩展至文本到图像生成（GenEval 0.89，DPG-Bench 87.1）。