@hooshaaii: 大语言模型能否实现递归自我提升(RSI)?高度引用的STaR论文证明模型可以自举其自身的推理……
摘要
STaR论文提出了一种技术,使大语言模型能够通过迭代生成推理过程、筛选正确答案,并在成功案例上进行微调来提升自身推理能力。
查看缓存全文
缓存时间: 2026/09/17 12:29
大语言模型能否实现递归自我改进?广受引用的STaR论文证明了模型可以引导自身的推理能力。通过生成推理过程并基于正确性进行筛选,模型得以实现自我训练。这正是递归自我改进的核心经典理论!🧠
自教导推理者:用推理引导推理
来源:https://arxiv.org/html/2203.14465
**脚注:这些作者对本文贡献相同
吴宇怀 邮箱:[email protected]
杰西·穆 所在单位:斯坦福大学计算机科学系
邮箱:[email protected]
诺亚·古德曼 所在单位:斯坦福大学计算机科学系
邮箱:[email protected]
所在单位:谷歌研究院
摘要
生成逐步的“思维链”推理过程能提升语言模型在复杂数学推理或常识问答等任务上的性能。然而,当前诱导语言模型生成推理过程要么需要构建大规模推理数据集,要么只能通过少量样本推理牺牲准确性。我们提出一种技术,能够迭代利用少量带推理示例和大量无推理数据集,逐步引导模型处理越来越复杂的推理。这项名为“自教导推理者”(STaR)的技术依赖于一个简单循环:在少量推理示例的提示下,生成大量问题的推理过程;若生成的答案错误,则根据正确答案再次尝试生成推理过程;在所有最终得出正确答案的推理过程上进行微调;如此重复。实验表明,与直接预测最终答案的微调模型相比,STaR在多个数据集上显著提升了性能,且在CommensenseQA数据集上达到了微调30倍规模先进语言模型的相当水平。因此,STaR让模型通过学习自己生成的推理过程来实现自我改进。
1 引言
人类决策通常源于长时间的思维链[1、2]。近期研究表明,显式中间推理(“推理过程”)也能提升大语言模型(LLM)的性能[3-8]。例如,文献[5]证明,经过显式训练使用“草稿纸”进行中间步骤的LLM,在算术任务中可达到分布内完美表现,并具有强分布外泛化能力,而直接预测答案的模型则无法做到。这些工作表明,在给出最终答案前生成显式推理过程(“推理生成”)对LLM在包括数学推理、常识推理、代码评估、社会偏见推断和自然语言推理在内的多种任务中都具有价值。
然而,诱导推理生成的两种主要方法都存在严重缺陷。一种方法是构建推理微调数据集,无论是通过人工标注还是使用手工模板自动生成[3-5,9]。人工方法成本高昂,且为每个有趣问题构建此类数据集不可行。模板化方法则依赖自动生成的推理过程,但仅在已知通用解决方案[5]或能制定合理硬编码启发式方法[4]时有效。
另一种选择是利用上下文学习,在语言模型提示中仅包含少量推理示例。与不使用推理的“直接”提示相比,这已被证明能提高数学和符号推理任务的准确性[5,6]。然而,尽管带推理的少样本技术通常优于非推理对应方法,但它们总体上远低于使用更大数据集直接预测答案的微调模型[5,6]。
图1:STaR概述及在CommensenseQA上生成的推理示例
虚线表示微调外层循环。问题和真实答案应已存在于数据集中,而推理过程由STaR生成。
本文采用不同方法:通过利用LLM已有的推理能力,我们迭代自举生成高质量推理过程的能力。具体而言,我们使用少样本提示大型语言模型自主生成推理过程,并通过微调那些能得出正确答案的推理过程来进一步优化模型能力。我们重复此过程,每次使用改进后的模型生成下一个训练集。这是一个协同过程:推理过程的改进提升训练数据质量,而训练数据质量的提升又进一步改进推理生成。
然而,我们发现此循环最终无法解决训练集中的新问题,因为对于失败的问题没有直接训练信号。为克服此问题,我们提出合理化:对于每个模型未能正确回答的问题,通过提供正确答案来生成新推理过程。这使模型能够逆向推理——给定正确答案,模型更容易生成有用的推理过程。这些推理过程随后作为训练数据的一部分被收集,通常能提高整体准确性。
因此,我们开发了自教导推理者(STaR,图1)方法,这是一种可扩展的自举方法,允许模型学习生成自己的推理过程,同时学习解决越来越困难的问题。在我们的方法中,我们重复以下过程:每次迭代时,首先尝试使用当前模型的推理生成能力解决问题来构建微调数据集;然后,使用合理化来增强该数据集,为模型未能解决的问题提供真实答案的推理依据;最后,在组合数据集上微调大型语言模型。
将STaR应用于算术、数学应用题和常识推理时,我们观察到它能有效将少量少样本提示转化为大型推理数据集,带来显著的性能提升。在CommensenseQA[10]上,我们发现STaR相比少样本基线(+35.9%)和直接预测答案的微调基线(+12.5%)均有提升,且性能与30倍规模的微调模型相当(72.5% vs. 73.0%)。
因此,我们做出以下贡献:
- 提出一种自举机制,能从少量初始推理示例中迭代生成推理数据集——无需验证新推理的正确性。
- 用合理化补充推理生成,模型被要求证明答案合理性,然后在无提示的情况下进行微调,仿佛自行推导出推理过程。我们证明合理化能加速并改善自举过程。
- 在数学和常识推理领域通过多种消融实验评估这些技术。
- 据我们所知,提出首个允许预训练大语言模型迭代使用其语言建模能力自我改进的技术。
2 背景与相关工作
上下文学习
近期涌现出一系列探索大语言模型进行上下文学习能力的工作[11,12]。本质上,上下文学习将少样本学习视为语言建模问题:在上下文(即提示)中展示少量示例,允许模型学习并识别模式以应用于新示例。有研究者从贝叶斯推断角度研究基于语言建模目标的上下文学习[13],也有人试图用“归纳头”[14]更机械地描述此过程。此外,已知提示配置的差异会对少样本性能产生显著影响。甚至有研究发现,用可在嵌入空间优化的“软提示”替代少样本提示能带来显著提升[15]。
我们不关注问题的表征,而是关注模型输出;特别是模型在得出结论前推理问题的能力。
推理过程
关于推理过程对语言模型性能影响的早期工作之一是文献[3],它表明在包含显式推理过程的数据集上训练语言模型可以提升模型生成最终答案的能力。但这需要人工标注数千个训练示例的推理过程。近期文献[5]证明,逐步“草稿纸”能提升微调LLM在算术、多项式求值和程序评估等任务上的性能和泛化能力。类似地,文献[6]使用单个少样本“思维链”推理提示来提升模型在一系列任务上的性能,无需微调。最后,文献[16]表明,课程学习方法有助于解决形式化数学问题,前提是:1)问题被转换为Lean(一种定理证明语言[17]);2)能够直接评估证明有效性;3)能为每个问题采样大量潜在解决方案;4)训练了单独的价值函数模型;5)从已在大量数学数据集上微调的GPT-f[18]模型开始。
我们注意到,许多领域并不满足所有这些条件。此外,有研究旨在解释推理过程为何具有这种有益效果:文献[19]从潜在变量模型角度分析其影响,文献[20]则提供了中间任务监督益处的正式证明。
迭代学习
已有多种迭代学习算法被提出,其中找到的解决方案或成功方法被用于寻找额外解决方案[21,22,16]。文献[21]引入了专家迭代(ExIt),一种强化学习技术,为我们的方法提供了灵感。本质上,它包含一个“学徒”自我博弈的循环,随后是从较慢“专家”获得反馈的模仿学习,然后用改进后的学徒替换专家。文献[16]将ExIt应用于形式推理,而文献[22]将迭代学习应用于可组合的模块化网络视觉问答。
STaR与专家迭代方法[21]有更多相似之处。例如,根据生成示例的最终答案是否匹配目标进行过滤,可视为专家反馈。但我们使用固定的“专家”,且不训练单独的价值函数。
自然语言解释
自然语言解释也可从可解释机器学习角度讨论,侧重证明而非推理[23,24]。这一研究方向的动机主要基于可解释决策,与文献[3]类似,通常未发现要求事后解释能提升模型性能。
3 方法
3.1 推理生成自举(无合理化的STaR)
给定预训练语言模型 (M) 和问题 (x) 及答案 (y) 的初始数据集 (\mathcal{D} = {(x_i, y_i)}{i=1}^D)。我们的技术从包含中间推理过程 (r) 的少量提示集 (\mathcal{P}) 开始:(\mathcal{P} = {(x_i^p, r_i^p, y_i^p)}{i=1}^P),其中 (P \ll D)(例如 (P=10))。与标准少样本提示类似,我们将此提示集连接到 (\mathcal{D}) 中的每个示例,即 (x_i = (x_1^p, r_1^p, y_1^p, \dots, x_P^p, r_P^p, y_P^p, x_i)),这鼓励模型为 (x_i) 生成推理过程 (\hat{r}_i) 后接答案 (\hat{y}_i)。
我们假设能得出正确答案的推理过程质量更高。因此,我们过滤生成的推理过程,仅保留能得出正确答案的那些((\hat{y}_i = y_i))。我们在过滤后的数据集上微调基础模型 (M),然后使用新微调模型重新生成推理过程。我们持续此过程直到性能趋于稳定。注意,在此过程中,一旦收集到新数据集,我们从原始预训练模型 (M) 开始训练,而非持续训练同一模型以避免过拟合。该算法的概要见算法1[https://arxiv.org/html/2203.14465#alg1]。
STaR可视为强化学习式策略梯度目标的近似。可以看到,(M) 可视为离散潜在变量模型 (p_M(y|x) = \sum_r p(r|x)p(y|x,r));换句话说,(M) 在预测 (y) 前先采样潜在推理过程 (r)。给定指示奖励函数 (\mathbb{1}(\hat{y}=y)),数据集上的总期望奖励为: [ J(M, X, Y) = \sum_i \mathbb{E}_{\hat{r}_i, \hat{y}_i \sim p_M(\cdot|x_i)} \mathbb{1}(\hat{y}_i = y_i) ] (公式1)
[ \nabla J(M, X, Y) = \sum_i \mathbb{E}_{\hat{r}_i \sim p_M(\cdot|x_i)} \mathbb{1}(\hat{y}_i = y_i) \nabla \log p_M(\hat{r}_i, \hat{y}_i | x_i) ] (公式2)
STaR中的过滤对应于仅采样正确答案对应的推理过程,即对 (p_M(y|x)) 的分布截断。这使我们能够通过微调近似策略梯度更新,其中奖励为二元值(正确/错误)。由于使用指示函数,梯度估计可能方差较高,但通过在大量数据集上进行微调,我们能有效近似期望梯度方向。
相似文章
统一多模态模型中的递归自我改进
该论文提出递归自我改进(RSI)框架:在训练循环中,统一多模态模型的文本能力与视觉能力相互生成训练数据,并由程序执行提供经过验证的监督信号。在图表任务上,借助新提出的 BasicChartBench 基准进行评测,四轮 RSI 迭代将性能从 45.7% 提升至 60.2%,同时经验证程序占比从 48.9% 升至 95.2%。
@alacheng:递归自我改进(RSI)是AI领域最热门的方向。过去六个月里,许多公司都纷纷将自己定位为RSI公司。我……
推文介绍了一个关于递归自我改进(RSI)的精选研究合集,涵盖从STaR、Self-Rewarding LMs到Promptbreeder和Automated Design of Agentic Systems等关键论文,梳理了RSI从自生成训练到自我修改代码代理的演进脉络。
@omarsar0:递归自我改进是当前AI领域最受讨论的理念之一。我特别感兴趣的是它如何应用……
该论文提出了DiscoveryRSI框架,通过多智能体进化搜索、研究回放和信用分配,将递归自我改进应用于科学假设生成,在四个生命科学领域中将假设质量从4.86提升至5.39,与训练截止日期之后发表的研究的吻合率达到6.3%。
RSI Arena:迈向基于人类反馈的递归自我改进
RSI Arena 推出了一项分为两个阶段的研究:十个前沿 AI 智能体在固定的 GPU 和 API 预算下,以人类偏好反馈为指导,从同一个基础模型出发,自主开展语言模型后训练。表现最强的智能体(GPT-6 Astra)弥合了基础模型与指令模型之间差距的 76%,且大多数模型在第二阶段比第一阶段更受人类青睐,展示了在结合人类反馈的递归自我改进(RSIHF)方向上迈出的一步。
@hooshaaii: 扩展推理不仅仅是更长的上下文——而是修复递归自我改进(RSI)中的'上下文拖拽'。IC…
本文介绍了Dream-RSI,一个用于AI代理可扩展递归自我改进的框架,它使用重放模拟器来优化探索策略,降低发现成本并提高质量。