论文页面 - PBSD：用于长时域信用分配的特权贝叶斯自蒸馏

来源：https://huggingface.co/papers/2606.09348

摘要

特权贝叶斯自蒸馏（Privileged Bayesian Self-Distillation）通过贝叶斯证据评分和自回归分解，将稀疏的结果奖励转化为校准后的回合级别信号，从而在长时域任务中实现细粒度的信用分配。

长时域代理任务给基于结果的强化学习（https://huggingface.co/papers?q=reinforcement%20learning）带来了根本性的信用分配（https://huggingface.co/papers?q=credit%20assignment）挑战：轨迹级别的奖励（https://huggingface.co/papers?q=trajectory-level%20rewards）可以验证最终的正确性，但难以提供关于哪些中间推理步骤或工具交互对结果有贡献的指导。这种困难在多轮搜索代理中尤为突出，因为成功的轨迹可能包含误导性动作，而失败的轨迹可能包含有价值的证据收集步骤。我们提出 PBSD（Privileged Bayesian Self-Distillation，特权贝叶斯自蒸馏（https://huggingface.co/papers?q=Self-Distillation）），一种针对稀疏最终奖励下的细粒度信用分配（https://huggingface.co/papers?q=credit%20assignment）的贝叶斯校准自蒸馏（https://huggingface.co/papers?q=self-distillation）方法。PBSD 通过验证答案的后验与先验概率比来衡量轨迹质量，并应用贝叶斯法则将这个难以估计的答案侧比率转换为一个易于处理的似然比，该似然比介于标准学生模型与特权条件于答案的教师模型之间。对该贝叶斯证据分数的自回归分解（https://huggingface.co/papers?q=Autoregressive%20decomposition）生成回合级别信号（https://huggingface.co/papers?q=turn-level%20signals），能够识别每个中间回合是支持还是削弱已验证的结果。因此，PBSD 提供了一种原则性且优雅的重新加权方案，将稀疏的结果监督转化为贝叶斯校准的回合级别信用信号，同时与标准策略优化（https://huggingface.co/papers?q=policy%20optimization）完全兼容。实验表明，PBSD 在领域内和领域外设置中均能持续提升性能，并有效地将知识从短上下文训练迁移到长上下文推理，表明其细粒度的信用分配（https://huggingface.co/papers?q=credit%20assignment）机制有助于更有效的策略学习，并带来更好的泛化能力。

查看 arXiv 页面（https://arxiv.org/abs/2606.09348）查看 PDF（https://arxiv.org/pdf/2606.09348）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.09348）

在您的代理中获取此论文：

hf papers read 2606.09348

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.09348 以从该页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.09348 以从该页面链接。

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.09348 以从该页面链接。

包含此论文的合集0

没有合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection）中以从该页面链接。