用于持续LLM改进的经验链

# 用于持续改进大语言模型的经验链  
来源：https://arxiv.org/html/2608.18027  
郝钦涂\*  
所属机构：加州大学圣克鲁兹分校  
所属机构：字节跳动 Seed  
\* 同等贡献，工作在字节跳动 Seed 完成  
王一中  
所属机构：字节跳动 Seed  
\* 同等贡献，工作在字节跳动 Seed 完成  
谢子昂  
所属机构：加州大学圣克鲁兹分校  
颜深  
所属机构：字节跳动 Seed  
\* 同等贡献，工作在字节跳动 Seed 完成  

###### 摘要  
人类能够持续从经验中学习，而传统的大语言模型（LLM）评估却忽略了模型通过推理时交互进行改进的能力。本文研究了LLM如何在测试时从迭代经验中学习，我们将此场景称为“经验链”（Chain-of-Experience， CoE）。在此框架中，模型通过与自身或环境反馈的迭代交互积累经验轨迹，形成一个超越零样本推理的持续改进循环。我们通过多种反馈机制实例化CoE，包括模型自我反馈以及正确性、公开代码测试通过率等环境信号，并在数学、编程和知识领域使用8个LLM（包括GPT-5、Gemini-2.5 Pro、Claude-4.5 Sonnet）进行评估。研究表明，利用迭代经验一致地优于无反馈基线方法；仅通过自我反馈即可取得显著提升，整体改进达5.6%，跨任务和模型的API成本降低19%。我们进一步表明，结合互补的反馈通道（例如模型反馈与正确性信号）能带来额外收益，且CoE比现有测试时策略具有更高的每令牌准确率。我们观察到LLM的基础能力与改进能力之间存在正相关，并证明模型在弱反馈或虚假反馈下保持鲁棒性，不同反馈促进不同方面的改进，且大部分收益在迭代早期即已显现。  

## 1 引言  
人类自然而然地持续从经验中学习，每一次成功或失败都塑造着不断演进的理解，以指导未来的决策。当代机器学习系统——尤其是现代大语言模型（LLM）1（https://arxiv.org/html/2608.18027#bib.bib2）；53（https://arxiv.org/html/2608.18027#bib.bib1）；16（https://arxiv.org/html/2608.18027#bib.bib3）；29（https://arxiv.org/html/2608.18027#bib.bib4）；67（https://arxiv.org/html/2608.18027#bib.bib5）——表现则大不相同：一旦训练完成，它们便以固定状态部署，将每次推理视为孤立事件，忽视了问题求解过程中蕴含的丰富反馈。相反，学习应是一个持续过程，LLM不仅应在训练阶段，也应在测试时通过与环境的迭代交互——处理反馈、进行反思以持续更新其理解，简言之，从自身的知识与经验中改进48（https://arxiv.org/html/2608.18027#bib.bib8）；49（https://arxiv.org/html/2608.18027#bib.bib44）。  
受强化学习成功的启发，基于搜索的方法探索广泛的解空间。启发式策略69（https://arxiv.org/html/2608.18027#bib.bib7）；20（https://arxiv.org/html/2608.18027#bib.bib11），包括多数投票59（https://arxiv.org/html/2608.18027#bib.bib9）；56（https://arxiv.org/html/2608.18027#bib.bib67），旨在利用验证器从语言模型并行生成的候选答案中识别出更高质量的答案。然而，这些方法中模型的经验仍然是暂时的，通常被整合成单一答案后即被丢弃，模型在面对每个新问题时都得重新开始，无法积累洞察。  
另一种范式是自我精炼，允许模型通过自我批评和修正进行迭代改进33（https://arxiv.org/html/2608.18027#bib.bib13）；46（https://arxiv.org/html/2608.18027#bib.bib12），在单次上下文中内化反馈。扩展方法如自我调试9（https://arxiv.org/html/2608.18027#bib.bib24）和Reflexion46（https://arxiv.org/html/2608.18027#bib.bib12）融入了代码执行信号等外部信号，但它们对迭代经验的利用仍然零散且肤浅。  
在这些尝试的基础上，我们提出了经验链（Chain-of-Experience， CoE）的概念化框架，其中模型在反馈下进行迭代问题求解，并研究：“LLM如何通过交互和反馈从积累的经验中演化，从而在测试时得到改进？”我们使用CoE框架系统性地探索了四种反馈类型下的长期环境交互：无反馈、模型反馈、编程任务的执行反馈、以及通用任务的正确性反馈。  

参考图注 图1：四个LLM在数学、编程和知识领域四个基准测试上的汇总结果。CoE下的迭代问题求解带来三重益处：*上图：*通过在CoE中引入反馈，四个LLM的平均性能优于其他测试时增强方法；*左下图：*模型能够在使用反馈时以更低的API成本实现更好的性能；*右下图：*在任务上表现更好的LLM通过CoE展现出更强的改进能力，表现出中度至强的皮尔逊相关性。我们在第4.1节（https://arxiv.org/html/2608.18027#S4.SS1）对基线方法提供更多说明。  

为评估基于CoE的算法，我们对包括GPT-5、o3、Gemini-2.5 Pro、Claude-4.5 Sonnet在内的八个最先进模型进行了提示，涵盖数学、编程和知识领域。基于四种反馈类型（源自现有算法和我们设计的范式，即无反馈、执行反馈、模型反馈和正确性反馈）的大量实验表明，带反馈的CoE一致地带来显著改进（图1（https://arxiv.org/html/2608.18027#S1.F1））。特别是，简单的CoE方法显著优于依赖其他任务经验的测试时缩放方法51（https://arxiv.org/html/2608.18027#bib.bib15）；74（https://arxiv.org/html/2608.18027#bib.bib21），仅通过自我反馈就能平均比这些算法提升7-9%（平均从62.9%提升至71.0%）。此外，利用迭代经验和反馈的模型推理效率更高，在所有任务和模型上实现5.6%的整体改进、19%的API成本降低以及更高的每令牌准确率。结合互补的反馈通道（例如模型反馈与正确性/执行反馈）能带来进一步改进，而应用于任务内的基于记忆的选择方法并未优于完整的经验轨迹，这表明过于激进的压缩可能丢弃了关键的中间推理步骤。我们进一步观察到，来自反馈的学习增益与模型基础能力之间存在清晰的正相关，在五个基准测试上平均皮尔逊相关系数为+0.5，表明更强的模型能更有效地从经验中进化。最后，我们的分析揭示了更深层次的行为洞察：模型在虚假或弱反馈下保持稳健，大部分收益出现在迭代早期，且在不同反馈类型下出现不同的改进轨迹。  

## 2 相关工作  
#### 无需训练的测试时策略。  
大语言模型可以通过各种测试时提示策略进行无需额外训练的推理。思维链（Chain-of-Thought， CoT）引出逐步推理，改进了算术、常识和符号任务63（https://arxiv.org/html/2608.18027#bib.bib6），催生了一系列“X链”方法71（https://arxiv.org/html/2608.18027#bib.bib20）；27（https://arxiv.org/html/2608.18027#bib.bib19）；21（https://arxiv.org/html/2608.18027#bib.bib17）；12（https://arxiv.org/html/2608.18027#bib.bib16）。代表性变体包括对比CoT12（https://arxiv.org/html/2608.18027#bib.bib16）、从少到多提示78（https://arxiv.org/html/2608.18027#bib.bib18）、任务特定形式如思维解释链、思维注释链和知识链21（https://arxiv.org/html/2608.18027#bib.bib17）；71（https://arxiv.org/html/2608.18027#bib.bib20）；27（https://arxiv.org/html/2608.18027#bib.bib19），以及通过搜索探索多条推理路径并在规划任务上优于CoT的思维树（Tree-of-Thought， ToT）69（https://arxiv.org/html/2608.18027#bib.bib7）。随着OpenAI的o系列22（https://arxiv.org/html/2608.18027#bib.bib54）和DeepSeek R118（https://arxiv.org/html/2608.18027#bib.bib55）等大型推理模型的出现，基于验证器在并行生成中进行选择的方法重新受到关注，包括步骤级28（https://arxiv.org/html/2608.18027#bib.bib48）；57（https://arxiv.org/html/2608.18027#bib.bib49）；72（https://arxiv.org/html/2608.18027#bib.bib50）和输出级76（https://arxiv.org/html/2608.18027#bib.bib53）；6（https://arxiv.org/html/2608.18027#bib.bib51）；31（https://arxiv.org/html/2608.18027#bib.bib52）验证。虽然这些方法在使用外部反馈进行后处理方面有效30（https://arxiv.org/html/2608.18027#bib.bib56）；58（https://arxiv.org/html/2608.18027#bib.bib57）；55（https://arxiv.org/html/2608.18027#bib.bib58）；60（https://arxiv.org/html/2608.18027#bib.bib59），但它们缺乏用于模型演化的迭代循环。我们的CoE同样是无需训练的，但不同之处在于利用反馈驱动推理过程中的迭代自我进化。  

#### 从经验中学习。  
从经验中学习是人类智能和人工智能系统的共同基础。强化学习通过策略梯度和演员-评论家方法将经验形式化65（https://arxiv.org/html/2608.18027#bib.bib61）；44（https://arxiv.org/html/2608.18027#bib.bib62），在游戏、机器人和控制领域取得了成功47（https://arxiv.org/html/2608.18027#bib.bib10），近期更通过对在线生成结果进行后训练来改进对齐和推理3（https://arxiv.org/html/2608.18027#bib.bib63）；17（https://arxiv.org/html/2608.18027#bib.bib64）；45（https://arxiv.org/html/2608.18027#bib.bib65）；70（https://arxiv.org/html/2608.18027#bib.bib66）。除了训练阶段，经验也可以在推理期间积累。对于跨任务经验，动态作弊表（DC）51（https://arxiv.org/html/2608.18027#bib.bib15）、智能体上下文工程（ACE）74（https://arxiv.org/html/2608.18027#bib.bib21）及相关方法77（https://arxiv.org/html/2608.18027#bib.bib46）；61（https://arxiv.org/html/2608.18027#bib.bib47）；75（https://arxiv.org/html/2608.18027#bib.bib68）维护持久的推理时记忆，提炼可重用的策略，而智能体框架则支持跨智能体的集体经验共享52（https://arxiv.org/html/2608.18027#bib.bib23）；8（https://arxiv.org/html/2608.18027#bib.bib40）；39（https://arxiv.org/html/2608.18027#bib.bib22）；19（https://arxiv.org/html/2608.18027#bib.bib78）。对于同任务经验，Reflexion46（https://arxiv.org/html/2608.18027#bib.bib12）、Self-Refine33（https://arxiv.org/html/2608.18027#bib.bib13）、Self-Debug9（https://arxiv.org/html/2608.18027#bib.bib24）、S*26（https://arxiv.org/html/2608.18027#bib.bib45）、Iteration-of-Thought40（https://arxiv.org/html/2608.18027#bib.bib25）和ReVeal25（https://arxiv.org/html/2608.18027#bib.bib26）利用自我反馈或执行信号迭代精炼输出，而最近的流程进一步利用离线模型经验来改进智能体73（https://arxiv.org/html/2608.18027#bib.bib43）；10（https://arxiv.org/html/2608.18027#bib.bib60）。最新的工作66（https://arxiv.org/html/2608.18027#bib.bib77）；54（https://arxiv.org/html/2608.18027#bib.bib76）也将这种范式扩展到实际应用中。与先前工作相比，我们提出了一个统一框架，将模型的整个求解历史视为经验，并系统地研究了多样的反馈信号，以实现测试时的持续改进。  

## 3 通过CoE实现模型改进  
本节首先介绍迭代问题求解设置的基本概念，称为经验链（Chain-of-Experience， CoE），接着详细讨论四种用于增强模型经验的不同反馈类型。最后，我们解释如何扩展经验的迭代以探究模型在测试时的学习性能。  

### 3.1 概述  
在传统的问答设置中50（https://arxiv.org/html/2608.18027#bib.bib36）；41（https://arxiv.org/html/2608.18027#bib.bib35）；43（https://arxiv.org/html/2608.18027#bib.bib37）；5（https://arxiv.org/html/2608.18027#bib.bib14），给定问题Q，大语言模型（LLM）会从条件分布P(A|Q)中采样生成一个合理的响应A。为了将此范式扩展至经验时代48（https://arxiv.org/html/2608.18027#bib.bib8），我们引入环境反馈变量F，以表示响应在交互环境中产生的可观察结果或评估。形式上，反馈f从条件分布f ∼ P'(F|Q, A)中采样，其中P'由环境建模，该环境可以实例化为代码执行环境、智能体的内部世界模型，甚至是现实世界环境，它为给定的序列提供生成式38（https://arxiv.org/html/2608.18027#bib.bib38）；34（https://arxiv.org/html/2608.18027#bib.bib39）或环境反馈45（https://arxiv.org/html/2608.18027#bib.bib65）；33（https://arxiv.org/html/2608.18027#bib.bib13）。本文研究了一种将单轮公式扩展为序列决策过程的范式，其中第i步的每个响应a_i取决于先前尝试的完整历史和相应的环境反馈；我们将此设置称为经验链（CoE）。生成过程定义为：a_t ∼ P(a_t | Q, e_0, e_1, ..., e_{t-1}) (1) 其中e_i是第i个经验，包含(a_i, f_i)。  

参考图注 图2：我们研究的语言模型迭代改进循环概览。模型M通过与环境E（例如模型模拟或代码环境）重复交互来学习。在每个周期中，M根据输入和积累的经验生成动作，然后从E接收反馈形成新的经验。我们在本研究中探讨了四种具体的反馈：无反馈、执行反馈、模型反馈和正确性反馈。  

### 3.2 反馈谱系  
为了全面刻画不同形式的经验如何塑造模型的迭代演化，我们根据反馈信息的丰富程度——从完全隐式到强显式信号——对其进行分类。每种反馈类型对应环境响应的具体实例化，进而通过CoE生成过程影响下一步动作。通常，模型可以根据a_t ∼ P(a_t | Q, (a_0, f_0), ..., (a_{t-1}, f_{t-1}))进行更新，其中函数f_i是我们第i次迭代采用的反馈。下面，我们描述本研究使用的这四种反馈类型及其形式化定义。  
无反馈。环境不提供任何评估或信号，即f_i = ∅。经验简化为e_i = (a_i, ∅)，下一个动作从a_t ∼ P(a_t | Q, a_0, a_1, ..., a_{t-1})采样，这意味着任何改进都必须源于对先前尝试的反思，而没有外部指导。  
执行反馈。对于基于可执行或