论文页面 - 代理探索与可复用引导：通过代理引导更新信号实现模块化大语言模型后训练范式

来源：https://huggingface.co/papers/2607.11505 发布于 7月13日

·

提交者：https://huggingface.co/fudaocheng

Fu (https://huggingface.co/fudaocheng)于 7月14日

摘要

后训练对于精炼大语言模型（LLMs）的领域特定能力至关重要，然而现有的奖励优化和分布匹配方法将策略探索与分布对齐紧密耦合。这种耦合迫使策略模型直接承担昂贵的探索成本，并且严重阻碍了优化信号的异步生成、复用及跨模型迁移。在本文中，我们提出了一种新颖的后训练框架——代理引导更新信号迁移（PUST），该框架从根本上将更新信号探索与分布对齐解耦。PUST 不使用主模型进行昂贵探索，而是采用轻量级代理模型作为高效测试平台来发现高奖励行为。我们提取代理模型初始状态与优化状态之间的相对改进信号，并将这种方向性更新迁移至主模型，以引导其策略对齐。这种解耦后的流程包括代理探索、更新信号提取和信号迁移，显著降低了计算开销，并使得优化信号能够异步生成、缓存和复用。关键的是，通过迁移相对改进而非绝对策略分布，PUST 天然支持弱到强的改进以及无缝的跨模型迁移。在 Qwen3 系列模型上针对数学和代码领域的系统评估表明，从显著较弱的代理模型中提取的更新信号，能够稳健且可调节地增强更强的主模型。最终，PUST 将后训练从一种单一化的在线优化过程转变为高度模块化、可复用且成本高效的范式。

查看 arXiv 页面 (https://arxiv.org/abs/2607.11505)查看 PDF (https://arxiv.org/pdf/2607.11505)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.11505)

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.11505，以便从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.11505，以便从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.11505，以便从此页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

请将此论文添加至收藏集 (https://huggingface.co/new-collection)，以便从此页面链接。