行为克隆并非所需全部：噪声专家反馈下在线策略蒸馏的最优性

# 行为克隆并非万能：面向噪声专家反馈的在线策略蒸馏最优性分析 来源：https://arxiv.org/html/2606.30923 Peihan Liu哥伦比亚大学计算机科学系Daniel Hsu哥伦比亚大学计算机科学系Adam Block哥伦比亚大学计算机科学系哥伦比亚大学电气工程系 ###### 摘要 模仿学习（IL）是序贯决策系统中学习的自然框架，并已成为理解语言模型训练的主导范式。一个核心谜题在于：理论上离线IL可以无视回合长度并达到最优，但实践中在线方法（如在线策略蒸馏，OPD）往往优于离线方法（如监督微调，SFT）。我们提出一个噪声专家模型来解释这一差距：学习者只能访问专家策略的噪声版本，但期望与纯净专家获得的奖励竞争。该模型的动机源于许多应用场景（例如训练语言模型执行长思维链）中专家往往并非完美。在此设定下，我们揭示了离线IL与在线IL之间的显著分离。从噪声轨迹中离线学习本质上是困难的：与纯净专家竞争所需样本复杂度必须呈指数增长，这与纯净专家设定中不存在显式回合依赖的情况形成鲜明对比。相反，我们证明通过一种新颖的OPD变体与噪声专家进行在线交互，通常能够实现关于回合长度的多项式依赖。我们进一步证明，在专家噪声分布满足一个自然的主导条件（我们证明这是实现任意无回合样本复杂度的必要条件）下，可以获得这样的保证，尽管我们提出的算法在策略类大小的依赖上牺牲了统计效率。我们的分析引出了一个在语言模型训练实证中常被考虑的替代损失函数。我们进一步提供了算法和下限，并将结果扩展到更现实的场景：当纯净专家是确定性的且噪声未知时，从而为在线策略蒸馏在从非完美教师训练语言模型时优于标准监督微调提供了理论基础。我们通过在合成和自然语言任务上的实验补充了理论结果，表明在噪声专家反馈下，我们理论建议的OPD变体在性能上优于离线BC和现有的OPD目标。 ## 1引言 模仿学习（IL）是一个强大的框架，通过从专家示范中学习来训练智能体在挑战性环境中执行复杂任务\[pomerleau1988alvinn, ross2010efficient, ross2011reduction, block2024butterfly\]。近年来，IL因其在广泛领域的成功应用而受到显著关注，包括机器人学\[chi2025diffusion, barreiros2026careful\]、自动驾驶\[chen2019deep\]和自然语言处理\[chang2023learning, block2024butterfly, agarwal2024policy, lu2025onpolicydistillation\]。特别是，IL已被提出作为理解语言模型（LMs）的自然框架，其中训练语料被认为包含人类行为的"专家示范"。鉴于LMs日益增长的重要性和成本，这引出了一个问题：如何最好地利用专家访问来训练LMs，更一般地，如何在IL中最好地利用专家访问。先前的工作区分了两种IL范式：*离线*IL，学习者只能访问固定的专家示范数据集；以及*在线*IL，学习者可以与专家交互，并在学习者访问的状态下请求示范\[ross2010efficient, ross2011reduction, foster2024behavior, rohatgi2025computational\]。离线IL的经典算法是行为克隆（BC），其中学习者简单地对比专家示范执行监督学习，以尝试从观察中预测动作。虽然经典观点认为BC存在累积误差，因此在长回合任务中性能较差，所学策略的次优性随回合长度二次增长\[ross2011reduction, ross2010efficient\]，但近期工作表明，当使用正确的损失函数实例化时，BC在最小最大意义上是无回合依赖且最优的，即使与在线IL算法相比也是如此\[foster2024behavior\]。尽管这一理论结果似乎表明BC是利用专家访问的最佳方式，但在实践中，许多研究发现在线IL算法（如DAgger\[ross2011reduction\]和在线策略蒸馏（OPD）\[agarwal2024policy, lu2025onpolicydistillation\]）在多种设定下显著优于离线IL。近期工作认为，这种理论与实践之间的差异可能源于专家通常被错误指定，即专家的策略无法被学习者的策略类实现\[rohatgi2025computational\]；这种错误指定可能发生在机器人学和自动驾驶问题中，当专家和学习者拥有不同的观察空间时（例如人类演示者比学习机器人拥有更多感官输入）\[barreiros2026careful\]，以及在LMs中我们试图将大型教师模型蒸馏到较小的学生模型时\[agarwal2024policy, hinton2015distilling\]。虽然错误指定的专家在许多设定中是一个自然模型，但它们并不适用于IL在LMs中的一个主要成功案例，即使用OPD从经过强化学习（RL）训练的教师LM微调学生LM，但学生和教师共享相同架构的情况\[agarwal2024policy, lu2025onpolicydistillation\]。在此设定下，专家并非错误指定，但在线IL（OPD）在实证中仍然优于离线IL（SFT）。 参见图注 图1：离线BC、标准OPD（来自\[agarwal2024policy, lu2025onpolicydistillation\]）与我们提出的NAIL在干净和噪声专家下针对正向（F）和反向（R）KL损失的比较。左图：模数加法任务：将31个数模7相加，专家以概率η∈{0,0.2}被污染。右图：GSM-8K：数学推理，专家以温度t∈{1,4}生成。在两种情况下，NAIL在低噪声区域与离线方法和标准OPD具有竞争力，在高噪声区域则显著优于这些基线。 在这项工作中，我们提出了一个*噪声专家*模型来解释IL中理论与实践之间的差异。具体来说，我们假设存在一个真实专家策略π⋆，其在环境中执行时能够获得良好的期望奖励，但我们只能访问该专家的噪声版本：πη⋆ = (1-η)·π⋆ + η·ν，其中0≤η<1是噪声水平，ν是某个噪声分布。该模型反映了许多现实世界场景中的事实，例如在数学、代码和推理任务中，我们期望与之竞争的真正专家可能是近似确定性的，但由于计算原因，我们训练的是一个随机专家。此外，在LM设定中，我们蒸馏的教师模型通常是一个尚未完全收敛的大模型，因此可以被视为偶尔出错的噪声专家\[team2024gemma, yang2025qwen3\]。这种错误也可能源于人类文本，将小错误、错别字和不一致性引入数据集，已知这对训练LMs有害\[olmo20242, li2024datacomp, weber2024redpajama\]。因此我们问：*在只能访问噪声专家的情况下，应如何利用该专家来训练一个在环境中执行时表现良好的学习者策略？* 我们在离线和在线设定下都提供了答案。为简洁起见，在引言中我们讨论噪声专家模型的一个特例（定义4 (https://arxiv.org/html/2606.30923#Thmdefinition4)），该特例在π⋆是确定性时始终成立。现在我们总结主要理论贡献。 我们首先考虑η和ν对学习者已知的设定；虽然这在实践中不现实，但该设定允许我们清晰地刻画从噪声专家学习的基本极限，而不引入可辨识性问题（参见第5节 (https://arxiv.org/html/2606.30923#S5)）。我们的第一个结果是，在离线设定中，与可以实现无回合保证的干净专家设定不同，为了确保学习效果，每当η ≳ 1/H时，我们必须付出*指数于*回合长度H的代价。 ###### 定理1（定理6 (https://arxiv.org/html/2606.30923#Thmtheorem6)和命题1 (https://arxiv.org/html/2606.30923#Thmproposition1)的非正式版本）。假设专家π⋆包含在策略类Π中，学习者可以访问从噪声专家πη⋆生成的n条轨迹。为了学习一个策略π̂，使其在环境中执行时的期望奖励与π⋆的差距在ε以内，BC需要n ≳ (1-η)^{-(H+2)} · log(‖Π‖)/ε，并且这是最优的。 这一结果与干净专家设定（BC可以实现无回合保证）形成鲜明对比，表明当专家有噪声时，离线IL本质上是难处理的。然而在*在线*设定中，我们表明可以通过*在线策略蒸馏*来规避这种关于回合的指数依赖。我们的第二个主要结果表明，OPD的一个自然类比——学习者在其访问的状态下查询噪声专家以获取示范——即使在专家有噪声时也能实现无回合保证。 ###### 定理2（定理7 (https://arxiv.org/html/2606.30923#Thmtheorem7)和推论1 (https://arxiv.org/html/2606.30923#Thmcorollary1)的非正式版本）。令Pπ,π′表示通过在某环境中执行π生成的状态和动作的增强轨迹的分布，但在每一步查询π′以获取辅助动作。那么，策略π̂在期望奖励上的次优性可以由(1-η)^{-2} · (D_KL(P^{π̂, π^⋆_η} ‖ P^{π̂, π̂_η}) ∧ D_KL(P^{π̂, π̂_η} ‖ P^{π̂, π^⋆_η}))界定。事实上，我们的结果更强，我们通过增强轨迹分布之间的较小*Hellinger距离*（定义3 (https://arxiv.org/html/2606.30923#Thmdefinition3)）来控制次优性。注意，P^{π̂, π^⋆_η}仅通过在线反馈可用：我们执行策略π̂，并在每一步询问（噪声）专家πη⋆在该状态下会做什么。*这一结果表明，按照部署时（例如贪婪地）的方式执行学生策略，然后利用噪声专家对学生所采取的动作进行评分，是利用在线访问噪声专家的正确方式，从而为OPD提供了原则性理由。*我们强调，所建议的损失函数与lu2025onpolicydistillation, agarwal2024policy中考虑的*不同*，后者在训练期间未区分执行分布（例如贪婪）和学生策略（例如温度1）。 我们最后的理论结果涉及控制前向KL散度的能力。 ###### 定理3（定理8 (https://arxiv.org/html/2606.30923#Thmtheorem8)和定理9 (https://arxiv.org/html/2606.30923#Thmtheorem9)的非正式版本）。假设我们可以访问一个包含π⋆的策略类Π。如果η和ν已知，则存在一个类似OPD的算法，可以找到策略π̂，其在期望奖励上的次优性至多为ε，所需与噪声专家πη⋆的交互轮次为n ≳ H^2 · log(‖Π‖) / (ε^2 (1-η)^2)，并且这是最优的（相差因子H）。此外，如果η和ν未知且π⋆是确定性的，那么只要η不太大且ν在任何动作上的质量至多为ρ，则n ≳ log(‖Π‖) / (ε (1-η(1+ρ))^2) 次交互轮次足矣，并且这是最优的。 本质上，我们表明当给定在线访问噪声专家时，即使污染未知但专家是确定性的，也可以实现对*纯净*专家的次优性的无回合保证；而在一般情况下给定在线访问噪声专家时，我们仅需付出关于回合的多项式代价。在附录F (https://arxiv.org/html/2606.30923#A6)中，我们通过顺序消除方法将上述结果中的回合因子移除（即使对于随机策略，当污染已知时也是如此），尽管我们以线性因子‖Π‖为代价获得了最优的回合依赖，这比上述结果的对数依赖指数级更差。特别地，在引言中重点讨论的特例（定义4 (https://arxiv.org/html/2606.30923#Thmdefinition4)）下，我们实现了*无回合保证*。 我们在图1 (https://arxiv.org/html/2606.30923#S1.F1)中通过合成任务（模数加法\[li2024chain\]）和自然语言任务（数学推理GSM-8K\[cobbe2021training\]）实证验证了我们的理论，通过最小化由推论1 (https://arxiv.org/html/2606.30923#Thmcorollary1)启发的损失函数。在这两种设定下，在线蒸馏在噪声专家反馈下显著优于LogLossBC，同时在干净专家反馈下保持竞争力，这与我们的理论发现一致。此外，我们的NAIL变体在噪声专家设定下始终优于标准OPD，表明我们理论建议的损失函数确实更有效地利用了在线访问噪声专家的方式¹¹代码见https://github.com/plau666/NAIL。我们将进一步的实验细节推迟到第6节 (https://arxiv.org/html/2606.30923#S6)。 在第2节 (https://arxiv.org/html/2606.30923#S2)中，我们正式介绍问题以及一些预备概念。在第3节 (https://arxiv.org/html/2606.30923#S3)中，我们分析*离线*设定，然后在第4节 (https://arxiv.org/html/2606.30923#S4)中讨论*在线*设定。在第5节 (https://arxiv.org/html/2606.30923#S5)中，我们将结果扩展到η和ν未知且专家是确定性的情况。最后，在第6节 (https://arxiv.org/html/2606.30923#S6)中，我们展示一些初步的实证结果以验证理论发现。我们在第7节 (https://arxiv.org/html/2606.30923#S7)中讨论了相关工作与未来方向，并在表1 (https://arxiv.org/html/2606.30923#S7.T1)中总结了我们的结果。 ## 2 正式问题设定与预备知识 我们考虑标准回合制马尔可夫决策过程（MDP）设定中的模仿学习\[ross2010effici