x-Prediction 即一切：通过端点可解码性实现无需训练加速生成

# 免训练加速生成：基于端点可解码性  
来源：https://arxiv.org/html/2607.06114  

## x₀ 预测即一切：通过端点可解码性实现免训练加速生成  

###### 摘要  

扩散模型和流匹配模型能够生成高质量样本，但其 ODE 求解器通常需要数十到数百次神经函数评估（NFE）。这对于已发布的检查点来说仍然是一个实际挑战，因为许多加速方法需要通过重新训练、蒸馏或轨迹重新设计来增加额外的设计成本和训练开销。我们探索了一条基于 x₀ 预测的不同路线。在采样过程中，标准的仿射概率路径已经暴露了 x₀ 信息：中间状态及其路径速度可以确定一个原则性的干净样本估计值。我们将这一性质形式化为**端点可解码性**，并证明该解码器是在标准 ℓ₂ 目标下的最小均方误差估计量 𝔼[x₀|xₜ]。这引出了**截断跳跃采样（TJS）**：在早期退出时间 t* 停止 ODE，并返回解码后的 x₀。TJS 无需重新训练、蒸馏或架构更改。在 SDXL、SD3.5M、Z-Image-Turbo 以及三个类别条件基准上，它在保持接近匹配质量的同时将 NFE 减少了 20–70%。该分析还解释了为什么端点预测可以在不拉直轨迹的情况下生效，从而在不重新设计轨迹的情况下实现推理加速。  

## 引言  

扩散模型（Ho 等人，2020；Song 等人，2021b；Nichol 和 Dhariwal，2021）和流匹配（Lipman 等人，2023；Albergo 和 Vanden-Eijnden，2023；Liu 等人，2023）能够生成令人惊艳的图像，但每个样本需要数十到数百次神经函数评估（NFE）（Rombach 等人，2022；Esser 等人，2024；Black-Forest-Labs，2024；Peebles 和 Xie，2023）。降低这一成本是生成建模中的核心挑战。该领域已提出一系列解决方案——整流流（Liu 等人，2023）、蒸馏（渐进式（Salimans 和 Ho，2022）、基于一致性（Song 等人，2023；Luo 等人，2023；Zheng 等人，2024）、自举法（Gu 等人，2023））、高级求解器（Lu 等人，2022，2023；Zhang 和 Chen，2023）以及训练时调度（Chen 等人，2026）——所有这些都能有效减少 NFE，但都需要对轨迹、模型或训练方案进行修改。没有现有方法能够纯粹通过修改推理来实现加速。这种复杂性带来了真实且不断增长的成本。社区已经积累了庞大的预训练检查点库——仅 SDXL 在 CivitAI 和 Hugging Face 上就有数千个微调变体（Podell 等人，2023；Esser 等人，2024；Black-Forest-Labs，2024；Rombach 等人，2022；Peebles 和 Xie，2023）。虽然快速 ODE 求解器（如 DPM-Solver、UniPC）可以减少步数，但无需重新训练即可实现进一步加速仍然是一个实际挑战。  

该领域将受益于一种免训练的加速策略，该策略适用于现有模型，而非经过重新训练后的模型。有一条更简单的路径，就隐藏在训练目标本身之中。扩散模型和流匹配模型被训练为在每个时间步预测 x₀。在推理过程中，模型因此可以在**每个中间步骤**产生有效的 x₀ 估计——并且这些估计值随着积分过程进行而改善。一旦足够好，为何还要继续？对于扩散模型，DDIM（Song 等人，2021a）已经在内部计算了 x̂₀，但据我们所知，之前的工作并未系统研究过早停止并将其作为终端推理策略，也未提供关于何时以及为何有效的理论依据。对于流匹配，则不存在这样的对应物。我们填补了这两个空白。  

我们将这一性质称为**端点可解码性**：对于非退化仿射路径，中间状态和路径速度可以通过一个闭式解码器恢复 x₀，我们将在第 §端点可解码性 节中形式化这一概念。关键在于，在标准 ℓ₂ 损失下，该解码器是最小均方误差最优估计量 𝔼[x₀|xₜ]（定理 6）。实际后果是：当估计值足够好时停止，并输出它。我们称之为**截断跳跃采样（TJS）**。  

参照图注  
图 1：端点可解码性的实际表现。顶部：xₜ 直接解码（早期步骤有噪声）。底部：通过端点解码的 x₀（任何步骤都干净）。  

TJS 无需重新训练、蒸馏或架构更改。它适用于任何预训练检查点——SDXL、SD3.5M、Z-Image-Turbo、FLUX、DiT、微调变体——无需修改。TJS 并不取代用于极端少步生成（1–4 NFE）的蒸馏；它为中等步数范围（30 → 15–25 步）提供了一种互补的、零成本的路径。  

**对您已有的模型实现即时、免训练的加速。**我们做出三项贡献：  

1. **原理与理论**。我们形式化了**端点可解码性**：对于任何非退化仿射路径，(xₜ, uₜ) 通过闭式解码器恢复 x₀（定理 5），由此导出的解码器是最小均方误差最优的（定理 6），其误差与曲率无关（定理 9），并且可以严格优于粗粒度欧拉方法（定理 11）。所有标准参数化在最优性下都是等价的（见补充材料 §A）。关键的是，直线轨迹是**充分但不必要的**（命题 12），这挑战了整流流和一致性模型的基础。  
2. **算法**。**截断跳跃采样（TJS）**：一种免训练的早期退出采样器——零重新训练、零蒸馏、零架构更改。TJS 兼容任何 ODE 求解器、噪声调度、CFG 尺度或蒸馏方法。  
3. **实验**。在六个模型家族上——SDXL、SD3.5M、Z-Image-Turbo（团队，2025）、ImageNet-256、CIFAR-10、MNIST——TJS 在保持接近匹配质量的同时将 NFE 减少了 20–70%，且在所有指标上呈现严格单调改进。  

## 相关工作  

##### 扩散与流匹配。  
扩散模型（Ho 等人，2020；Song 等人，2021b；Nichol 和 Dhariwal，2021）和流匹配（Lipman 等人，2023；Albergo 和 Vanden-Eijnden，2023；Liu 等人，2023）共享一个共同骨架：概率路径 xₜ = αₜ x₀ + σₜ ε 在噪声与数据之间插值。DDIM（Song 等人，2021a）和 EDM（Karras 等人，2022）通过神经 ODE（Chen 等人，2018）建立了确定性采样。这些模型支撑着最先进的图像生成——SD3（Esser 等人，2024；Meng 等人，2024）、FLUX（Black-Forest-Labs，2024）、DiT（Peebles 和 Xie，2023）。  

上面引用的每个模型都使用相同的仿射路径结构。端点可解码性不需要其他任何东西。  

##### 少步生成与轨迹拉直。  
减少 NFE 涵盖了多个范式，全部处于训练阶段。蒸馏（渐进式（Salimans 和 Ho，2022）、掩码式（Yang 等人，2022）、自举法（Gu 等人，2023）、轨迹一致性（Zheng 等人，2024））和一致性模型（Song 等人，2023；Luo 等人，2023）训练学生模型用于少步生成。整流流（Liu 等人，2023）通过重流学习直线路径（欧拉误差 ∝ ‖ẍₜ‖）。Dense-Jump FM（Chen 等人，2026）修改推理轨迹。高阶求解器（DPM-Solver（Lu 等人，2022）、DPM-Solver++（Lu 等人，2023）、PNDM（Liu 等人，2022）、UniPC（Zhang 和 Chen，2023））提高了离散化精度，但仍然遍历整个轨迹。共同的动机：少步生成质量受益于修改训练。TJS 提供了一种互补的、免训练的替代方案，利用了仿射路径的固有结构性质。  

##### 预测参数化与理论联系。  
x₀-预测、v-预测、ε-预测和分数预测（Karras 等人，2022；Salimans 和 Ho，2022；Ho 等人，2020；Song 等人，2021b）通常被视为具有不同信噪比权衡的不同选择（Kingma 等人，2021）。我们的框架揭示了它们在最优性下的代数等价性（见补充材料 §A 中的定理 13），因此任何预训练模型都编码了一个端点预测器。补充证据：JiT（Li 和 He，2025）表明 x₀ 预测在原始像素块上通过流形结构显著优于 ε/v 预测；MeanFlow（Geng 等人，2025）通过平均速度实现一步生成。在采样之外，流匹配与最优传输（Lipman 等人，2023；Tong 等人，2024）和薛定谔桥（Bortoli 等人，2021）相联系；I-MMSE（Guo 等人，2005）为 U(t)（补充材料 §A 中的定理 14）提供了信息论基础。  

## 预备知识  

扩散模型和流匹配模型共享一个简单但强大的结构：它们定义了将噪声演变为数据的路径。我们现在形式化这一结构并预览后续的理论。我们依次建立三个结果：(1) 任意中间状态可以恢复干净端点的代数条件（定理 5）；(2) 在标准 ℓ₂ 训练下这种恢复的最优性（定理 6）；(3) TJS 误差分解为两个与曲率无关的分量（定理 9）。一起看，这些结果解释了为什么直线轨迹——先前工作的核心要求——是充分但不必要的。  

###### 定义 1（仿射概率路径）。**仿射概率路径**是一个单参数随机过程  
xₜ = αₜ x₀ + σₜ ε，ε ∼ 𝒩(0, I)，t ∈ [0, 1]，  
其中 x₀ ∼ p_data 是干净样本，αₜ, σₜ: [0,1] → ℝ_{≥0} 是 C¹ 函数，满足 α₀=0, σ₀=1 且 α₁=1, σ₁=0。  
这个单一方程涵盖了 VP/VE 扩散、EDM 和线性流匹配。现代生成模型（数十亿参数、数十种训练技巧）的全部多样性归结为两个标量调度 αₜ 和 σₜ。端点可解码性是仅由这两个函数决定的性质。  

###### 引理 2（条件速度）。条件速度场 uₜ ≔ dxₜ/dt 满足  
uₜ = α̇ₜ x₀ + σ̇ₜ ε。  
结合式 (1) 和 (2) 得到一个耦合线性系统：  
[xₜ ; uₜ] = [αₜ σₜ ; α̇ₜ σ̇ₜ] [x₀ ; ε]。  

###### 定义 3（路径行列式）。**路径行列式**为  
Δₜ ≔ det[αₜ σₜ ; α̇ₜ σ̇ₜ] = α̇ₜ σₜ - αₜ σ̇ₜ。  

耦合线性系统（式 (3)）包含了整个故事。如果 2×2 系数矩阵可逆，那么 (xₜ, uₜ) 唯一地确定 (x₀, ε)——特别是 x₀。可逆条件非常简洁：路径行列式必须非零。我们现在形式化这一观察并证明所得解码器是最优的。  

### 特征化  

通过克莱姆法则求解线性系统（见补充材料 §A）得到端点解码器：  

###### 定义 4（端点可解码性）。仿射概率路径在时间 t ∈ (0,1] 上是**端点可解码的**，如果映射 (xₜ, uₜ) ↦ x₀ 是良定义且唯一的。如果这对所有 t ∈ (0,1] 成立，则路径是**全局端点可解码的**。  

###### 定理 5（端点可解码性）。仿射概率路径在 t 处是端点可解码的当且仅当 Δₜ ≠ 0，此时  
x₀ = (σₜ uₜ - σ̇ₜ xₜ) / Δₜ。  
给定学习到的速度 v_θ(xₜ, t) ≈ uₜ，诱导的端点预测器为 x̂₀^{vel} = (σₜ v_θ - σ̇ₜ xₜ) / Δₜ。  

###### 证明。见补充材料。