SFT到底应该学习哪些标记？基于标记修剪的数学推理视角

# SFT究竟应该学习哪些Token？从Token修剪视角看数学推理  
来源：https://arxiv.org/html/2609.09707  

**作者**  
春辉 张 (隶属于达特茅斯学院)  
文轩 徐 (隶属于达特茅斯学院)  
星建 廖 (隶属于达特茅斯学院)  
小元 王 (隶属于卡内基梅隆大学)  
邮箱：[email protected]  
索罗什·沃索吉 (††通讯作者，邮箱：[email protected]，隶属于达特茅斯学院)  

###### 摘要  
监督微调 (SFT) 对所有目标token应用统一的交叉熵损失，尽管不同token为数学推理提供的学习信号强度不同。这种统一处理方式可能会对已经掌握的token过度锐化，同时加剧模型对不确定、低置信度token的学习压力，导致次优的训练动态。我们提出 **修剪Logit间隙SFT (TrimSFT)**，这是一种简单的token级重加权方法，它根据正确token与其最强竞争者之间的logit间隙来缩放SFT损失。TrimSFT从两端修剪监督：既修剪已经掌握的token（大logit间隙），也修剪当前模型支持较弱的token（小或负logit间隙），从而将学习集中在两者之间的中间logit间隙区域。我们通过一个以边界 m 为中心、带宽 τ 的高斯权重来实现这一原则，无需参考模型或额外的前向传播。我们在来自Llama、Qwen和DeepSeekMath家族的六个基础模型上，针对五个数学推理基准测试评估了TrimSFT。TrimSFT始终优于标准SFT，在六个模型中的五个上取得了最佳平均性能，并在MATH500上实现了比SFT最高+26.9点的提升。进一步分析表明，带宽 τ 比精确的边界位置更重要，且仅从单侧移除监督压力的半修剪变体产生的权衡效果较差。一个token级logit间隙分布分析表明，与统一SFT或单调重加权方法相比，TrimSFT能以更平衡的方式重塑模型置信度。这些结果表明，推理SFT可以从修剪两端而非统一处理所有token中获益。  

## 1 引言  
大型语言模型 (LLMs) 在复杂推理任务上展现出强大能力 (Wei et al., 2022b; Wang et al., 2024; Fan et al., 2024)，而数学推理是研究多步推理能力的关键试验场 (Jia et al., 2025; Liu et al., 2025)。监督微调 (SFT) 被广泛用于将预训练模型适配到数学推理数据 (Yu et al., 2024; Yue et al., 2024)，并且通常作为下游强化学习或偏好优化的初始化阶段 (Ouyang et al., 2022; Bai et al., 2022)。尽管SFT有效，但标准SFT使用统一权重对所有目标token应用token级交叉熵损失 (Lin et al., 2026)，忽略了不同token可能提供截然不同的学习信号 (Wu et al., 2026; Gong et al., 2026)。在推理轨迹中，一些token可能已经掌握良好，却持续接收不必要的锐化压力，这可能导致过度自信 (Pereyra et al., 2017; Chen et al., 2025; Wei et al., 2022a)。其他token可能高度不确定、含噪声或超出模型当前能力，但仍引起大损失并主导优化信号。这两种极端情况表明，统一处理所有token可能会将学习拉离潜在有用的中间区域 (Wu et al., 2026; Lin et al., 2017; Han et al., 2018)。这启发了选择性训练目标的需求，即在logit间隙谱的两端减少监督，同时将学习集中在中间区域。因此，我们提出 **修剪Logit间隙SFT (TrimSFT)**，这是一种token级重加权方法，它从两端修剪监督：既修剪已掌握的token（大logit间隙），也修剪当前模型支持较弱的token（小或负logit间隙）。对于每个目标token，我们计算其 **logit间隙**，定义为正确token的logit与其最强竞争者logit之间的间隔，并使用一个以边界 m 为中心、带宽 τ 的高斯权重来缩放交叉熵损失（图1，左）。logit间隙接近 m 的token获得更强的监督，而间隙远小于此或远大于此的token则被软性降低权重，从而将学习集中在logit间隙谱的有界中间区域。该权重在同一前向传播中根据模型自身的logit计算得出，无需参考模型或额外的前向传播。为了考察这种双向修剪轮廓每一侧的贡献，我们进一步引入了两种半修剪变体（图1，右）：**修剪简单端SFT (TrimSFT-E)**，仅修剪困难端并在高间隙（简单）token上保留完整权重；以及 **修剪困难端SFT (TrimSFT-H)**，仅修剪简单端并在低间隙（困难）token上保留完整权重。  

图1：SFT、TrimSFT及其半修剪变体TrimSFT-E和TrimSFT-H的token加权函数。边界 m 决定加权函数的中心，τ 控制加权区域的宽度。  
我们在来自Llama、Qwen和DeepSeekMath家族的六个基础模型上，针对五个数学推理基准测试评估了TrimSFT。我们的结果表明TrimSFT始终优于标准SFT，我们进一步分析了这些收益背后的机制。我们的贡献总结如下：  
- • 我们引入了TrimSFT，一种token级重加权方法，它根据正确token与其最强竞争者之间的logit间隙缩放SFT损失。它无需参考模型或额外的前向传播。  
- • TrimSFT在六个模型中的五个上取得了最佳平均性能，并在MATH500上实现了比SFT最高+26.9点的提升。它还通过pass@8和best-of-8分别衡量，提升了能力覆盖范围和重复采样下的自我一致性。  
- • 消融实验表明，性能对带宽 τ 比对边界 m 更敏感，这表明所选logit间隙区域的宽度比其中心更重要。  
- • 半修剪变体表明仅修剪一侧会产生较差的权衡效果：TrimSFT-H性能低于SFT，TrimSFT-E在最难问题上性能下降。Token级logit间隙分布分析进一步表明，与统一SFT或单调重加权方法相比，TrimSFT能以更平衡的方式重塑模型置信度。  

## 2 相关工作  
#### 数学推理的监督微调  
数学推理已成为评估大型语言模型多步推理能力的核心试验场 (Cobbe et al., 2021; Hendrycks et al., 2021; He et al., 2024; Saxton et al., 2019; Lewkowycz et al., 2022)。将预训练模型适配到数学任务的一个常见方案是在精选的推理轨迹上进行监督微调 (SFT) (Yu et al., 2024; Yue et al., 2024; Toshniwal et al., 2024; Li et al., 2024)。这一方向的大部分进展来自数据中心的改进，包括合成高质量的思维链解决方案 (Yu et al., 2024; Luo et al., 2025)，从更强的教师模型蒸馏 (Shao et al., 2024; Yang et al., 2024)，纳入来自推理专用模型的最新长思维链轨迹 (Guo et al., 2025; Hugging Face, 2025; Ye et al., 2025)，以及通过基于难度或正确性的过滤构建精选数据集 (Toshniwal et al., 2024; Li et al., 2024)。尽管取得了这些进展，底层目标通常仍然是标准的token级交叉熵损失，并统一应用于每个token。相反，我们的工作针对的是逐token的目标函数而非训练数据，使其与现有的数据中心方法互补。  

#### SFT中的Token级重加权与选择  
虽然原始SFT对所有token应用统一的交叉熵损失，但近期工作已探索token级重加权或选择，以考虑不同token训练价值的差异 (Lin et al., 2024; Ruan et al., 2025; Wu et al., 2026)。这些方法的主要区别在于用于评分token的信号和损失调制的形式。一些方法依赖辅助信号或预计算的token掩码，例如Rho-1中的基于参考模型的评分 (Lin et al., 2024) 和CFT中的反事实选择 (Ruan et al., 2025)。DFT (Wu et al., 2026) 和 Focal Loss (Lin et al., 2017) 都根据正确token的预测概率重新缩放token级交叉熵，但方向相反：DFT对已分配高概率的token进行上加权，而Focal Loss对其进行下加权。我们的方法在两方面偏离了这些基于概率的方案：它使用 **logit间隙** 作为更尺度敏感的信号，并应用高斯带通加权，目标是有界的中间区域，而非遵循单调趋势。我们将在第3.3节详细阐述这一比较。  

#### Logit间隙、边界与置信度塑形  
与边界相关的量已被广泛用于塑形置信度和比较竞争预测，但很少直接用作token级监督权重。在分类校准中，标签平滑 (Müller et al., 2019; Pereyra et al., 2017) 和基于边界的标签平滑 (Liu et al., 2022) 塑形置信度和边界行为以减轻过度自信，而logit归一化 (Wei et al., 2022a) 和面向校准的训练目标 (Guo et al., 2017) 在训练过程中调节置信度和logit幅度。相关问题也在大型语言模型中被研究，近期工作考察了生成输出中的置信度校准和过度自信 (Zhang et al., 2024; Leng et al., 2024)。最近的证据进一步表明，语言上的置信度可能与内部基于logit的置信度存在显著差异，强调了区分语言表达的置信度与模型内部置信度信号的重要性 (Zhang et al., 2026)。在偏好优化中，诸如SimPO (Meng et al., 2024) 等方法使用偏好输出与拒绝输出之间的序列级logit边界。这些工作使用边界相关的量来调节置信度或定义序列级偏好信号。相反，TrimSFT在SFT过程中使用逐token的logit间隙作为监督权重，修剪token置信度谱的两端，而非全局约束或最大化边界。  

## 3 方法  
我们从标准的监督微调 (SFT) 目标出发，然后引入TrimSFT，这是一种由模型自身logit间隙驱动的token级重加权方案。其核心思想是将更强的监督分配给其logit处于有界决策区域附近的token，同时减少对那些已经掌握良好或当前超出模型有效范围的token的学习压力。TrimSFT特意降低logit间隙谱两端的监督压力：间隙非常大（已掌握）的token获得较低权重，间隙非常小或为负（当前模型支持较弱）的token同样获得较低权重。  

给定输入提示 x 和目标token序列 y₁,...,y_T，标准SFT通过最小化token级交叉熵损失 L_SFT = -∑_{t=1}^T log π_θ(y_t | x, y_{<t}) 来训练模型 π_θ。TrimSFT引入了可学习的token级权重 w_t。对于每个目标位置 t，定义logit间隙 Δ_t 为正确token的logit与其最强竞争者logit之间的间隔：Δ_t = logit(y_t) - max_{y'≠y_t} logit(y')。TrimSFT的损失为：L_TrimSFT = -∑_{t=1}^T w_t log π_θ(y_t | x, y_{<t})。其中权重 w_t 由一个以边界 m 为中心、带宽 τ 的高斯函数计算：  
w_t = exp( - (Δ_t - m)² / (2τ²) )  

这个高斯权重函数以边界 m 为中心，将最大权重1赋予间隙恰好为 m 的token。当间隙远离 m 时，权重呈高斯衰减。这种设计使得学习集中在间隙值接近 m 的中间区域token上，同时软性忽略间隙极大或极小的token。  

### 3.1 半修剪变体  
为了剖析高斯加权函数两侧修剪的贡献，我们设计了两个仅修剪一侧的变体：  
- **修剪简单端SFT (TrimSFT-E)**：该变体仅对高间隙（简单）token进行下加权，而对低间隙（困难）token保持满权重（权重为1）。其权重计算为：  
w_t^E = { 1, 如果 Δ_t ≤ m;  
        exp( - (Δ_t - m)² / (2τ²) ), 如果 Δ_t > m }  
这保留了对于间隙较小的token的完整监督，同时降低了对已经很好分离的token的权重。  

- **修剪困难端SFT (TrimSFT-H)**：该变体仅对低间隙（困难）token进行下加权，而对高间隙（简单）token保持满权重。其权重计算为：  
w_t^H = { 1, 如果 Δ_t ≥ m;  
        exp( - (Δ_t - m)² / (2τ²) ), 如果 Δ_t < m }  

这些变体与完整的TrimSFT具有相同的边界 m 和带宽 τ，但隔离了加权轮廓每一侧的贡献。将它们与完整的TrimSFT进行比较，我们可以确定其收益主要来自修剪高间隙token、低间隙token，还是两者兼有。  

### 3.3 Token重加权的统一视角  
标准SFT、TrimSFT以及几种代表性的重加权方法，包括DFT (Wu et al., 2026) 和基于Focal Loss的SFT基线 (FSFT) (Lin et al., 2017)，都可以写成统一的token重加权形式：  
L = ∑_{t=1}^T sg(w_t) ℓ_t  
其中 ℓ_t = -log π_θ(y_t | x, y_{<t}) 是标准交叉熵损失，sg(·) 是停止梯度算子，w_t 是token级权重。不同的方法本质上是定义了不同的权重计算函数 w_t(·)。  

我们通过两个指标来分析不同重加权方法的效果：**有效token比率** (R_eff) 和 **监督压力比** (P_ratio)。R_eff定义为权重的归一化方差倒数：R_eff = (∑_{t=1}^N w_t)² / (N ∑_{t=1}^N w_t²)，其中 N 是响应token的数量。R_eff 越大，表明监督在token间的分布越均匀，统一SFT对应 R_eff = 1。P_ratio定义为权重超过0.5的token所占比例。