论文页面 - 无意义文本也有用：提示空间扰动拓宽推理探索

来源：https://huggingface.co/papers/2605.05566

摘要

LoPE 通过利用Lorem Ipsum扰动来增强大语言模型训练中的探索能力，从而解决了可验证奖励强化学习中的零优势问题。

带有可验证奖励的强化学习（https://huggingface.co/papers?q=Reinforcement%20learning），特别是组相对策略优化（Group Relative Policy Optimization，https://huggingface.co/papers?q=Group%20Relative%20Policy%20Optimization）（GRPO），显著提升了大语言模型（Large Language Models，https://huggingface.co/papers?q=Large%20Language%20Models）（LLMs）的推理能力。然而，在复杂任务中，GRPO 经常受到``零优势问题（https://huggingface.co/papers?q=zero-advantage%20problem）’’的困扰：当针对某个查询的所有采样轨迹均失败时，相对优势会坍塌为零。因此，模型在这些问题上失去了有效的训练信号，导致训练数据和计算预算的浪费。虽然简单地增加这些问题的采样预算是一种常见的补救措施，但静态采样策略本质上限制了推理探索，从而限制了成功率。在本文中，我们提出了用于探索的Lorem扰动（Lorem Perturbation for Exploration，LoPE），这是一个简单而有效的训练框架，旨在打破这一探索瓶颈。我们认为，与任务无关的提示空间扰动（prompt-space perturbations，https://huggingface.co/papers?q=prompt-space%20perturbations）能够足够地改变模型的输出分布，从而为难题解锁正交的推理路径。具体而言，LoPE 在重新采样（resampling，https://huggingface.co/papers?q=resampling）之前，将随机组装自Lorem Ipsum（https://huggingface.co/papers?q=Lorem%20Ipsum）词汇（一种伪拉丁语占位符文本）的序列前置到提示词中。在 1.7B、4B 和 7B 模型上的实验表明，LoPE 显著优于使用原始提示词的重新采样（resampling，https://huggingface.co/papers?q=resampling）。进一步的分析显示，其他具有低困惑度（perplexity，https://huggingface.co/papers?q=perplexity）的基于拉丁语随机序列也是有效的扰动。我们的结果确立了 LoPE 作为拓宽 LLM 强化学习（reinforcement learning，https://huggingface.co/papers?q=reinforcement%20learning）探索能力的强大基线。

查看 arXiv 页面 (https://arxiv.org/abs/2605.05566)查看 PDF (https://arxiv.org/pdf/2605.05566)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.05566)

在您的智能体中获取此论文：

hf papers read 2605\.05566

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.05566 以从本页进行链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.05566 以从本页进行链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.05566 以从本页进行链接。

包含此论文的 Collection0

没有 Collection 包含此论文

将此论文添加到 collection (https://huggingface.co/new-collection) 以从本页进行链接。