论文页面 - Token-Level Off-Policy Learning for Faithful Generation Under Distribution Shift

源链接：https://huggingface.co/papers/2607.17524

摘要

我们提出Token级离策略标注（TOPL），一种将后训练重构为token级正确性预测任务的离策略训练范式。核心直觉是：通过训练模型区分回答中的好token与坏token，我们自然引导模型生成好token，同时避免直接训练模型生成离策略token所带来的陷阱。文档摘要任务的实验表明，TOPL在11个数据集上针对多种序列级和token级基线实现了强大的分布外泛化能力。我们进一步证明TOPL能有效迁移到机器翻译任务，表明其优势可泛化至不同的忠实生成任务。通过消融研究，我们确认token级学习信号对良好性能至关重要，而序列级对应方法无法提供类似收益。最后，我们展示TOPL能产生可解释的模型更新：通过TOPL学习的LoRA适配器可作为线性分类头和引导向量。

查看arXiv页面（https://arxiv.org/abs/2607.17524）查看PDF（https://arxiv.org/pdf/2607.17524）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.17524）

在您的智能体中获取此论文：

hf papers read 2607.17524

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

未找到链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2607.17524 以从本页面链接。

引用此论文的数据集0

未找到链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2607.17524 以从本页面链接。

引用此论文的Space0

未找到链接此论文的Space

在Space README.md 中引用 arxiv.org/abs/2607.17524 以从本页面链接。

包含此论文的集合0

未找到包含此论文的集合

将此论文添加到集合（https://huggingface.co/new-collection）中以从本页面链接。