论文页面 - 语言模型学会改进语言模型

来源：https://huggingface.co/papers/2610.23344

摘要

LM2LM 使用冻结的研究世界模型为语言模型改进的生成提供可扩展的强化学习奖励，通过定期的真实执行来维持可靠性，并以更低的成本超越更大的基线模型。

大语言模型 (https://huggingface.co/papers?q=Large%20language%20models)（LLMs）正被越来越多地用于自动化 AI 研究，包括语言模型（LM）的开发，这为实现递归式自我改进提供了一条潜在路径。然而，将实验反馈转化为跨模型提出有效改进方案的习得能力面临两个挑战。第一，使用真实反馈来训练这种能力代价高昂：强化学习 (https://huggingface.co/papers?q=reinforcement%20learning)（RL）需要评估数以万计的改进方案，而每个方案都可能需要一次完整的模型训练。即使每次训练只需十 GPU 小时，仅奖励收集就要耗费数十万 GPU 小时，这促使我们寻找更廉价的替代方案。第二，代理反馈 (https://huggingface.co/papers?q=surrogate%20feedback) 可能变得不可靠，因为策略优化 (https://huggingface.co/papers?q=policy%20optimization) 会在方案分布发生偏移时偏好被高估的方案。为解决这些挑战，我们提出了 LM2LM (https://huggingface.co/papers?q=LM2LM)，它使用 RL 训练 LLM 来生成有效的 LM 改进方案。为了提供可扩展的反馈，我们使用研究世界模型 (https://huggingface.co/papers?q=research%20world%20model)（RWM）—— 一个冻结的 LLM，基于上下文中提供的真实实验记录来预测方案的增益—— 作为 RL 的奖励模型。为维持反馈的可靠性，我们定期真实执行 RWM 排名较高的当前策略方案，并将其测量结果加入到 RWM 的上下文中。在八个自回归和扩散式 LM 开发环境中，对保留任务的真实执行评估表明，LM2LM (https://huggingface.co/papers?q=LM2LM) 使 Qwen3.8-27B 能够超越 GPT-6-sol——即使在 GPT-6-sol 的上下文中提供了 300 条真实实验记录——同时数据生成成本降低 33%。LM2LM (https://huggingface.co/papers?q=LM2LM) 还能泛化到训练期间未见过的模型家族。

查看 arXiv 页面 (https://arxiv.org/abs/2610.23344)　查看 PDF (https://arxiv.org/pdf/2610.23344)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.23344)

引用本文的模型 0

暂无关联的模型

在模型 README.md 中引用 arxiv.org/abs/2610.23344 即可从此页面关联。

引用本文的数据集 0

暂无关联的数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.23344 即可从此页面关联。

引用本文的 Spaces 0

暂无关联的 Space

在 Space README.md 中引用 arxiv.org/abs/2610.23344 即可从此页面关联。

包含本文的合集 0

暂无包含本文的合集

将本文添加到合集 (https://huggingface.co/new-collection) 即可从此页面关联。