自条件化使流匹配能够进行深度序列推理

Hugging Face Daily Papers 论文

摘要

该论文从电路复杂度视角证明,标准流匹配采样步骤无法超越恒定深度模型的表达能力,而自条件化(self-conditioning)可将表达力提升至与空间受限图灵机等价,从而实现更深的视觉序列推理。

近期研究探索了通过图像生成进行视觉推理的方法,即模型通过直接生成解答图像来解决视觉推理问题。直观上,流匹配等迭代采样器非常适合这一任务,因为每个采样步骤都可能类似于一个推理步骤。然而,在本研究中,我们从电路复杂度的角度表明,这一直觉具有误导性。我们证明,只要模型输出满足某些温和的正则性条件,标准流匹配采样器的轨迹就可以通过常数轮顺序执行的并行模型求值来模拟。因此,在标准的 Transformer 复杂度理论模型下,增加采样步骤无法提升常数深度骨干模型的表达能力。随后,我们揭示了自条件机制此前未被认识到的作用:该机制以模型在上一步对最终图像的估计作为条件,能够消除这一瓶颈。在多种视觉推理任务上的受控实验表明,采用自条件机制的流匹配比标准流匹配具有更高的准确率和更大的推理深度,且其性能会随着采样步骤的增加而提升。在理论上,我们证明,借助自条件机制,常数深度的骨干模型能够获得与空间受限图灵机等价的表达能力。我们的研究为未来的视觉推理研究提出了一项设计原则:在采样步骤之间传递更多信息,使增加的步骤能够转化为更深层次的推理。
查看原文
查看缓存全文

缓存时间: 2026/10/15 18:59

论文页面 - 自条件机制使流匹配能够进行深度序列推理

来源:https://huggingface.co/papers/2610.19628

摘要

采用自条件机制的流匹配使迭代采样步骤能够突破恒定深度的限制,提升表达能力,从而实现更深入的视觉推理\。

近期研究探索了通过图像生成进行视觉推理 (https://huggingface.co/papers?q=visual%20reasoning),即模型通过直接生成解答图像来解决视觉推理问题\。直观而言,流匹配 (https://huggingface.co/papers?q=flow%20matching)等迭代采样器非常适合这项任务,因为每个采样步骤都可能类似于一个推理步骤\。然而,在本研究中,我们从电路复杂度 (https://huggingface.co/papers?q=circuit%20complexity)的角度表明,这种直觉具有误导性\。我们证明,只要模型输出满足某些温和的正则性条件,标准流匹配采样器的轨迹就可以通过恒定轮数的顺序执行来模拟,每轮并行进行模型求值\。因此,在 Transformer (https://huggingface.co/papers?q=transformers)的标准复杂度理论模型下,增加采样步骤无法提升恒定深度骨干模型的表达能力\。随后,我们揭示了自条件机制 (https://huggingface.co/papers?q=self-conditioning)在消除这一瓶颈方面发挥的一种此前未被认识到的作用:它以上一步对最终图像的估计作为模型的条件\。在多种视觉推理任务上的受控实验表明,采用自条件机制 (https://huggingface.co/papers?q=self-conditioning)的流匹配 (https://huggingface.co/papers?q=flow%20matching)比标准流匹配 (https://huggingface.co/papers?q=flow%20matching)具有更高的准确率和更大的推理深度,而且其性能会随着采样步骤的增加而提升\。在理论上,我们证明,借助自条件机制 (https://huggingface.co/papers?q=self-conditioning),恒定深度的骨干网络可以获得与空间受限图灵机 (https://huggingface.co/papers?q=space-bounded%20Turing%20machines)等价的表达能力\。我们的研究为未来的视觉推理 (https://huggingface.co/papers?q=visual%20reasoning)研究提出了一条设计原则:在采样步骤之间传递更多信息,使增加的步骤能够转化为更深入的推理\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.19628)查看 PDF (https://arxiv.org/pdf/2610.19628)GitHub2 (https://github.com/imzzy1201/self-conditioning-deep-reasoning)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.19628)

在你的智能体中获取这篇论文:

hf papers read 2610\.19628

还没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.19628,即可在此页面建立链接\。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.19628,即可在此页面建立链接\。

引用这篇论文的 Space0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.19628,即可在此页面建立链接\。

包含这篇论文的收藏集0

没有包含这篇论文的收藏集

将这篇论文添加到收藏集 (https://huggingface.co/new-collection),即可在此页面建立链接\。

相似文章

使用Untied Self-Conditioning改进少步语言流

arXiv cs.CL

本文介绍了untied self-conditioning以修正流匹配语言模型中的训练-推理不匹配问题,在无需重新训练的情况下,以更低的困惑度改进少步生成质量。

空间感应头:多维细胞自动机的上下文学习

arXiv cs.LG

本文提出"空间感应头"(spatial induction heads),一种两层 gather-and-match 电路,解释 Transformer 如何在多维细胞自动机的序列化数据中进行上下文学习。研究表明,该电路可逼近贝叶斯后验并在确定性规则上实现精确预测,训练后的两层 Transformer 能泛化到未见过的规则。

ConicFlow:流匹配模型的受约束推理时最优控制

arXiv cs.AI

ConicFlow 将流匹配模型的约束采样建模为推理时的最优控制问题,采用滚动时域原对偶算法在满足硬终端约束的同时高奖励生成并少偏离预训练轨迹,理论上给出了次优性保证并在实验中优于现有基线。

Flow Reasoning Models: 通过迭代自我精化扩展推理能力

arXiv cs.AI

Flow Reasoning Models (FRMs) 为离散流模型在结构化推理任务上引入了一个训练和测试时扩展框架。通过使用 self-verification 和 self-conditioning,FRMs 在 Sudoku 和 Zebra 谜题上达到了近乎100%的求解率,而所需的迭代次数远少于之前的基准模型。