论文页面 - (1D) 有序 Token 实现高效测试时搜索

来源：https://huggingface.co/papers/2604.15453

摘要

具有“粗到细”token 结构的自回归模型在测试时扩展性上表现更佳，并可配合图文验证器实现无需训练的文生图。

Tokenization 是自回归（AR）生成模型的核心组件，它将原始数据转化为更易建模的单元。常见做法是让 token 描述局部信息，例如图像中的像素块或文本中的子词，AR 生成按固定顺序预测这些 token。一个值得探讨的问题是：token 结构是否会影响“测试时搜索”（test-time search）——即通过验证器评估多条候选生成结果并择优——的引导能力。我们以图像生成为实验场景，假设近期出现的“1D 有序 tokenizer”所具备的粗到细结构比传统 2D 网格结构更易于搜索。原因在于，粗到细序列的中间状态携带语义信息，验证器可对其可靠打分，从而在生成过程中实现有效引导。对照实验表明，基于粗到细有序 token 训练的 AR 模型，其测试时扩展行为优于基于网格的模型。此外，得益于有序结构，我们证明纯测试时搜索（即完全不训练 AR 模型，仅靠token 序列搜索）在图文验证器指导下即可实现无需训练的文生图。进一步，我们系统研究了经典搜索算法（best-of-N、beam search、lookahead search）与不同 token 结构的交互，以及不同验证器与 AR 先验的作用。结果凸显 token 结构对推理时可扩展性的影响，并为 AR 模型的测试时扩展提供实用指南。

查看 arXiv 页面 PDF 项目主页 GitHub 加入收藏

在智能体中阅读该论文：
hf papers read 2604.15453

还没装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型关联

在模型 README.md 中引用 arxiv.org/abs/2604.15453 即可在此显示。

引用该论文的数据集 0

暂无数据集关联

在数据集 README.md 中引用 arxiv.org/abs/2604.15453 即可在此显示。

引用该论文的 Spaces 0

暂无 Space 关联

在 Space README.md 中引用 arxiv.org/abs/2604.15453 即可在此显示。

收录该论文的合集 1