论文页面 - Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features

Source: https://huggingface.co/papers/2609.33463

摘要

监督微调（SFT）会从模型认为最不可能的 token 中进行最激进的学习。这有助于习得新行为，但也会放大有噪声或相互冲突的监督信号，并可能覆盖预训练中学到的有用知识。通过统一的策略损失视角，我们重新审视了现有的 token 加权重排方法，并证明它们只会为示范 token 分配非负系数。因此，这些方法只能抑制或放大监督更新，却无法在有害特征被学到之后将其逆转。此外，更大的训练权重并不等同于特征外推，因为它们改变的是优化轨迹，而不是在固定 SFT 方向上进行缩放。我们认为，逆转与外推需要一个由固定 SFT delta 定义的稳定参考框架。基于这一动机，我们提出了 SCALE（Selective Control of Adaptation via Local Entropy），这是一种由熵引导的适应强度控制方法：它冻结预训练模型和 SFT delta，仅通过最小化预测熵来学习有界的、针对 token 和模块的门控。这些门控会根据与熵降低的对齐程度，对冻结的 SFT 特征进行抑制、逆转或外推。在 Qwen2.5-Math-1.5B、Qwen2.5-Math-7B 和 Qwen3-4B-Base 上，SCALE 在数学推理任务上分别取得 37.84、43.60 和 36.57 的平均成绩，超过了各自最强的基线方法，同时在通用知识保持基准上也保持了竞争力。在 HumanEval、HumanEval+ 和 MBPP 上，SCALE 对这三个模型都取得了最佳的平均代码生成性能。这些结果表明，有效的 SFT 纠正可以从控制已学残差如何被利用中获益，而不仅仅在于修改它们如何被学习。

View arXiv page (https://arxiv.org/abs/2609.33463)View PDF (https://arxiv.org/pdf/2609.33463)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2609.33463)

Get this paper in your agent:

hf papers read 2609\.33463

Don’t have the latest CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

暂无模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2609.33463，即可从本页面链接到该论文。

引用本文的数据集0

暂无数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2609.33463，即可从本页面链接到该论文。

引用本文的 Spaces0

暂无 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2609.33463，即可从本页面链接到该论文。

包含本文的合集0

暂无合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该论文。