训练-推理内核合约：约束后训练与部署中的差异

# 后训练与部署中的散度界定

来源：https://arxiv.org/html/2606.07581

## 训练-推理内核契约：后训练与部署中的散度界定

（2026年5月26日）

###### 摘要

现代后训练流水线为其策略 `πθ` 写入一个符号，并通过两个不同的程序对其进行评估：一个训练内核，运行自动求导，使用高精度累加器和固定形状；一个推理内核，在分页键值缓存后融合低精度算子，并根据工作负载调整注意力块。在有限精度下，这两个程序对相同的权重计算出可测量的不同函数，其差异集中在聚合基准测试未能充分代表的切片上。强化学习 rollout 中的离策略偏差、FP8 部署下的切片级回归、微调与服务之间的校准漂移，以及在不同硬件集群上无法复现的基准分数，都是这一同一差异的不同侧面。

我们将这一差异形式化为 `πθ` 上缺失的索引，并提出一个小的规范来命名它：一个内核契约 `C = (N, S, R, O, Π)`，包含数值、统计、运行时和可观测性条款，并附有从违规到路由操作的升级策略。我们推导出一系列 Lipschitz 型界限，将四个族联系起来：logit 漂移上的单个数值条款通过总变差距离传播，进而约束任意有界奖励，并给出显式常数。将该链特化到 RL 后训练，我们展示了重要性比率 `w = πθ^{K_train}(y|x) / πθ^{K_inf}(y|x)` 的逐 token 界限，在显式支撑和范数假设下，约束了标准策略梯度估计器的偏差，并将 PPO 风格的比例裁剪重新解释为对训练-推理内核对的预算，而不仅仅是对策略更新的预算。一个四阶段提升流水线（离线 CI、影子、金丝雀、全面）和一个在线路由循环在模型部署后强制执行该契约。一个最小化的 YAML DSL，附带一个草稿参考实现（附录 A (https://arxiv.org/html/2606.07581#A1) 和 C (https://arxiv.org/html/2606.07581#A3)），展示了这种形式的可部署工件的样子。这是一篇关于框架和词汇的论文：我们未报告生产规模下的实证验证，也未声称内核散度是框架所解决故障模式的唯一原因。

## 1 引言

在现代后训练流水线中，符号 `πθ` 在有限精度下表示两个不同的函数。训练路径通过围绕自动求导构建的程序评估 `πθ`：高精度累加器、固定形状批次、参考注意力以及针对可微分性优化的算子图。服务路径通过融合的低精度内核 [15](https://arxiv.org/html/2606.07581#bib.bib14), [5](https://arxiv.org/html/2606.07581#bib.bib15), [14](https://arxiv.org/html/2606.07581#bib.bib16)、分页键值缓存 [13](https://arxiv.org/html/2606.07581#bib.bib13) 以及大小取决于工作负载的注意力块 [2](https://arxiv.org/html/2606.07581#bib.bib10), [3](https://arxiv.org/html/2606.07581#bib.bib11), [22](https://arxiv.org/html/2606.07581#bib.bib12) 来评估它。这两个程序共享参数张量，几乎不共享其他任何东西，由此产生的数值差异在不同输入上并不均匀：聚合基准测试可能在噪声范围内移动，而长上下文切片或安全关键的提示类别可能移动一个数量级。

强化学习后训练暴露了同样的差异。像 PPO [21](https://arxiv.org/html/2606.07581#bib.bib1), [17](https://arxiv.org/html/2606.07581#bib.bib3) 和 GRPO [23](https://arxiv.org/html/2606.07581#bib.bib5) 这样的流水线在推理引擎上生成 rollout，并在训练引擎上应用梯度；标准估计器的推导将两者视为同一策略。rollout 时间与梯度时间之间的隐式逐 token 重要性比率被假定为等于 1，并在不相等时被不加标记地吸收，这以训练损失中不显现的方式偏置梯度，仅在后来以 KL 崩塌、奖励黑客或突然的奖励退化形式出现。大规模 RLHF 对实现细节的已知脆弱性 [8](https://arxiv.org/html/2606.07581#bib.bib6), [4](https://arxiv.org/html/2606.07581#bib.bib7), [1](https://arxiv.org/html/2606.07581#bib.bib8), [11](https://arxiv.org/html/2606.07581#bib.bib9) 与该机制一致。

同样的混淆出现在训练和推理路径针对相同权重运行不同程序的任何地方：使用 `K_train` 调优的校准调度在 `K_inf` 产生的概率上失灵；基准分数在单元测试全部通过的硬件集群之间出现分歧；红队提示在一个堆栈上失败，在另一个上通过。我们将它们视为一个规范差距的不同侧面：没有流水线以机器可读的形式说明，它愿意容忍 `K_train` 和 `K_inf` 之间的多大差异，在哪些切片上。

本文开发了指定该差距的对象。一个**内核契约**是一个元组 `C = (N, S, R, O, Π)`，包含数值、统计、运行时和可观测性条款，并附带一个将违规映射到路由操作的升级策略。该契约位于模型检查点和内核构建旁边，与之一起版本化，并通过 CI 随工件进入部署。位级等价不是目标；推理内核的存在是为了用低级等价交换吞吐量，而这一交换值得进行。目标是明确需要哪些等价、在哪里以及当它们失败时该做什么。

第 2 节 (https://arxiv.org/html/2606.07581#S2) 固定符号并明确 `πθ` 上的内核索引。第 3 节 (https://arxiv.org/html/2606.07581#S3) 收集四种故障模式，其共享结构推动了框架。第 4 节 (https://arxiv.org/html/2606.07581#S4) 正式介绍契约。第 5 节 (https://arxiv.org/html/2606.07581#S5) 推导 Lipschitz 型链，将 logit 漂移条款转化为奖励漂移条款。第 6 节 (https://arxiv.org/html/2606.07581#S6) 将该链特化到 RL 后训练。第 7 节 (https://arxiv.org/html/2606.07581#S7) 描述四阶段提升流水线；第 8 节 (https://arxiv.org/html/2606.07581#S8) 制定一个实验协议，可用于测试框架的预测。

三个贡献随之而来。(i) **概念性**：在现代 LLM 流水线中，可规范的正确对象是配对 `(K_train, K_inf)` 加上它们被要求一致的切片范围，而不是单独的检查点或引擎。(ii) **技术性**：第 5 节 (https://arxiv.org/html/2606.07581#S5) 的链允许契约作者在其可测量的层次上指定，并在其关心的层次上继承保证。(iii) **应用性**：在显式支撑和范数假设下（第 6 节 (https://arxiv.org/html/2606.07581#S6)），重要性比率的逐 token 界限约束了标准估计器的策略梯度偏差，并且 PPO 裁剪范围 ε 获得了第二个解释，即对训练-推理内核对的预算。

#### 范围。

本文提出了一个框架和词汇。它不声称内核散度是所讨论故障模式的唯一原因，不报告生产规模下的实证验证，也不提供可部署的开源实现。第 8 节 (https://arxiv.org/html/2606.07581#S8) 制定了测试框架预测的协议；附录 A (https://arxiv.org/html/2606.07581#A1) 和 C (https://arxiv.org/html/2606.07581#A3) 以草图形式指定了消费其声明性工件的实现会是什么样子。

## 2 预备知识

本文的符号核心是给 `πθ` 一个一直缺失的索引。一个**内核** `K` 是具体的程序，给定参数 `θ ∈ R^d` 和输入 `x ∈ X`，计算词汇表大小 `V` 上的 logits `zθ^K(x) ∈ R^V`，并在用于优化时计算梯度 `∇θℓ`。由此产生的预测分布

`πθ^K(·|x) = softmax(zθ^K(x)/T)`   (1)

在温度 `T > 0` 下，不仅依赖于 `θ`，也依赖于 `K`。具有相同 `θ` 的两个内核通常会诱导两个不同的 `πθ^K`，而这个索引正是本文其余部分坚持要携带的。

我们特化为两个内核。`K_train` 是优化时的内核（通常是 FSDP 下的 PyTorch 图，使用 BF16 计算和 FP32 累加器，固定批次形状，参考注意力）。`K_inf` 是部署时的内核（通常是 vLLM [13](https://arxiv.org/html/2606.07581#bib.bib13) 结合分页 KV 缓存、FP8 或 INT4 量化 [15](https://arxiv.org/html/2606.07581#bib.bib14), [5](https://arxiv.org/html/2606.07581#bib.bib15), [14](https://arxiv.org/html/2606.07581#bib.bib16)、一种注意力变体如 FlashAttention-3 [22](https://arxiv.org/html/2606.07581#bib.bib12) 和动态批处理）。两者都操作相同的 `θ`；它们之间的关系是未指定的。设 `D_eval` 为 `X` 上的评估分布，在服务时划分为切片 `{Si}`，对应于产品表面、长度桶、语言组或安全类别。

### 2.1 漂移量

框架由一组可测量的不同意数量参数化，这些不同意发生在固定 `θ` 下 `πθ^{K_train}` 和 `πθ^{K_inf}` 之间。**Logit 漂移** 是原始数值不同意：`Δ_logit(x) = ∥zθ^{K_train}(x) - zθ^{K_inf}(x)∥_2`。**分布漂移** 将其转化为策略不同意：

`Δ_KL(x) = KL(πθ^{K_train}(·|x) ∥ πθ^{K_inf}(·|x))`，
`Δ_TV(x) = ½ ∑_{v∈V} |πθ^{K_train}(v|x) - πθ^{K_inf}(v|x)|`。   (2)

**Top-k 一致性** 捕获了通常更直接可观察的排名级行为：

`A_{topk}(x) = |TopK_k(zθ^{K_train}(x)) ∩ TopK_k(zθ^{K_inf}(x))| / k`。   (3)

**校准差距** `Δ_ECE = |ECE(πθ^{K_train}; D_eval) - ECE(πθ^{K_inf}; D_eval)|` 比较了两个诱导预测器，其中 `ECE` 如 [7](https://arxiv.org/html/2606.07581#bib.bib17) 所定义。**奖励漂移** 与下游目标闭环：对于奖励 `r`，

`Δ_r = E_{x∼D_eval, y∼πθ^{K_train}(·|x)}[r(x, y)] - E_{x∼D_eval, y∼πθ^{K_inf}(·|x)}[r(x, y)]`。   (4)

**运行时漂移** 捕获操作增量（延迟、吞吐量、内存、故障率），这些是在实际服务条件下而非微基准测试中测量的。第 5 节 (https://arxiv.org/html/2606.07581#S5) 将 `Δ_logit → Δ_TV → Δ_r` 链接起来，因此关于第一个量的条款可传递地控制第三个量。

### 2.2 契约收敛与违规级别

契约 `C` 是结构化条款集合，每个条款在指定的切片上约束这些漂移量之一。收敛是相对于 `C` 定义的，而不是相对于任何单一标量。

###### 定义 1 (契约收敛)。

设 `C` 有硬条款集 `H` 和软条款集 `S`，软条款具有超出预算 `{ρ_i}_{i∈S}`。当 `(K_train, K_inf)` 在 `D_eval` 上为 **C-收敛** 时，每个 `h∈H` 在其适用的每个切片上都成立，并且每个 `s∈S` 满足 `Pr_{x∼D_eval}[m_s(x) > τ_s] ≤ ρ_s`。

该定义为“一个推理构建对于发布模型而言是否与训练构建等价？”这一隐式问题给出了一个契约相对、切片感知、行为关联的答案。每个违规随后被分配三个严重级别之一：**L1**（信息性）被记录；**L2**（影响质量）触发守卫路由或提升冻结；**L3**（安全或正确性关键）触发立即回退到已知良好的内核。三级别词汇是将遥测转换为行动所需的最小值；第 4 节 (https://arxiv.org/html/2606.07581#S4) 和第 7 节 (https://arxiv.org/html/2606.07581#S7) 将其嵌入完整规范和服务流水线中。

## 3 差异重要的地方

下面四种情况是同一混淆的不同方面，每种情况处于不同的子领域。每种情况都映射到第 4 节 (https://arxiv.org/html/2606.07581#S4) 中引入的一个条款族。

### 3.1 RL 后训练中的离策略偏差

策略梯度方法，如 PPO [21](https://arxiv.org/html/2606.07581#bib.bib1) 和 GRPO [23](https://arxiv.org/html/2606.07581#bib.bib5)，从当前策略采样行动，并针对同一策略进行更新：

`∇θJ(θ) = E_{x∼D, y∼πθ(·|x)}[∇θ log πθ(y|x) A(x, y)]`。   (5)

在现代流水线中，采样和更新使用不同的内核：rollout 来自推理引擎（vLLM, SGLang, TensorRT-LLM），为吞吐量而选择；梯度来自训练引擎（FSDP, Megatron, DeepSpeed），为可微分性而选择。在相同的 `θ` 下，它们不会诱导出相同的策略；分页注意力、FP8 转换、内核融合和块大小路由各自扰动 logits。流水线实际计算的是：

`∇θJ(θ)̂ = E_{x∼D, y∼πθ^{K_inf}(·|x)}[∇θ log πθ^{K_train}(y|x) A(x, y)]`，   (6)

这与在线策略梯度相差一个重要性比率，而标准估计器隐式假设该比率为