论文页面 - GFT：基于无偏群体优势与动态系数修正的从模仿到奖励微调

来源：https://huggingface.co/papers/2604.14258

摘要

群体微调通过使用多样化的回复组与自适应权重边界来解决监督微调的局限性，从而提升训练稳定性与效率。

大语言模型通常在后训练阶段使用监督微调（SFT）和强化学习（RL）进行训练，但如何有效统一高效的知识注入与稳健的泛化能力仍然充满挑战。在本研究中，我们通过对训练动态的分析表明，SFT 可被解读为具有极度稀疏隐式奖励与不稳定逆概率加权的策略梯度优化之特例，这些因素共同导致了单路径依赖、熵坍缩与梯度爆炸。基于这一诊断，我们提出了群体微调（GFT），一个统一的后训练框架，通过两种机制解决这些固有缺陷：群体优势学习，通过构建多样化的回复组并导出归一化的对比监督以缓解奖励稀疏性；以及动态系数修正，通过自适应地限定逆概率权重以稳定优化，同时保持高效的知识注入。实验表明，GFT 始终优于基于 SFT 的方法，并能生成与后续 RL 训练更平滑融合的策略。

查看 arXiv 页面查看 PDF项目页面GitHub添加到合集

在您的智能体中获取这篇论文：

hf papers read 2604\.14258

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型 0

暂无模型引用该论文

在模型的 README.md 中引用 arxiv.org/abs/2604.14258 以从此页面建立链接。

引用该论文的数据集 1

OmniAI-ZJU/NuminaMath-Cot-Distillation-100K 约 18 小时前更新 (https://huggingface.co/datasets/OmniAI-ZJU/NuminaMath-Cot-Distillation-100K)

引用该论文的 Space 0

暂无 Space 引用该论文

在 Space 的 README.md 中引用 arxiv.org/abs/2604.14258 以从此页面建立链接。

包含该论文的合集 0

暂无合集包含该论文

将此论文添加到合集以从此页面建立链接。