论文页面 - LLM-as-a-Tutor：面向不可验证强化学习的策略感知提示自适应

来源：https://huggingface.co/papers/2607.04412

摘要

LLM-as-a-Tutor 框架将 LLM 的角色从评判员扩展为导师，通过成对比较和添加约束的方式动态调整提示难度，从而提升强化学习中的指令遵循性能。

针对不可验证指令遵循的强化学习（Reinforcement learning, RL）越来越依赖具备提示特定评分标准的 LLM 评判员作为奖励信号（reward signals）。尽管现有方法在训练过程中会自适应调整这些评分标准以适应不断演变的策略，但训练提示本身仍是静态的，来自固定语料库。这种静态方法常常导致提示难度与策略能力之间出现严重错配，当提示无法在采样输出中产生质量差异时，评判员便无法恢复出具有区分度的奖励信号。为了解决这一错配问题，我们提出了 LLM-as-a-Tutor 框架，它将 LLM 的角色从评判员扩展为导师：同一个模型既充当考官，通过成对比较策略采样输出以检测缺乏挑战性的提示；又充当生成器，向这些提示追加原子约束（atomic constraints）。这种仅追加的设计会随着策略能力的提升单调增加难度，从而无需外部难度调度即可产生自校准训练信号（self-calibrating training signal）。在三个复杂的指令遵循基准测试上，我们的方法始终优于策略无关的基线方法以及先前自适应评分标准或重写提示的策略自适应方法，这表明提示自适应（prompt adaptation）是面向不可验证强化学习中缺失的策略感知维度。

查看 arXiv 页面 (https://arxiv.org/abs/2607.04412)查看 PDF (https://arxiv.org/pdf/2607.04412)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.04412)

引用此论文的模型0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2607.04412 即可从本页链接到它。

引用此论文的数据集0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.04412 即可从本页链接到它。

引用此论文的 Spaces0

无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2607.04412 即可从本页链接到它。

包含此论文的收藏集0

无收藏集包含此论文

将本论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页链接到它。