什么是行为克隆(BC)?我们如何使用它?

ML at Berkeley 论文

摘要

本文介绍了行为克隆(Behavioral Cloning),这是一种模仿学习技术,用于从专家演示中训练策略。文章讨论了其在最大似然估计中的理论基础,以及其在 AlphaGo 等历史应用中的使用情况。

<p><em>作者:Surya Vengadesan</em></p><h2>简介</h2><p>在这篇博客文章中,我们将介绍模仿学习,它是强化学习的“兄弟”技术。虽然强化学习的目标是巧妙地解决给定马尔可夫决策过程(MDP)所建模的环境中的策略问题(参见 <a href="https://ml.berkeley.edu/blog/posts/mdps/">前一篇帖子</a>),但模仿学习的目标是在仅给定 MDP 中智能体的轨迹的情况下学习一个策略。特别是,我们将介绍一种名为行为克隆(Behavioral Cloning,简称 BC)的特定算法。该算法早在 <a href="https://papers.nips.cc/paper/1988/file/812b4ba287f5ee0bc9d43bbf5bbe87fb-Paper.pdf">20 世纪 80 年代</a>就被用于训练自动驾驶车辆,并在 <a href="https://www.nature.com/articles/nature16961">AlphaGo</a> 的首次实现中被使用。如果你不熟悉强化学习(RL)和 MDP,不用担心,为了理解下面的概念,我们可以将这些背景信息抽象化。</p><h2>行为克隆</h2><p>行为克隆的主要思想是根据专家演示来学习 MDP 的策略。例如,你可以收集一个数据集,其中包含某人根据汽车摄像头拍摄图像给出的方向盘转向方向,从而学习一个能够执行基本自动驾驶功能的策略。该策略本质上是一个函数,它将一组状态映射到动作的概率分布上。自然而然的问题便是:如何构建这样的算法?在这篇博客中,我们将首先介绍必要的理论,然后梳理行为克隆算法的构建模块,并在 OpenAI Gym 环境中实现它。</p><div class="captioned-image-container"><figure><a class="image-link image2 is-viewable-img" target="_blank" href="https://substackcdn.com/image/fetch/$s_!ODkg!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png" data-component-name="Image2ToDOM"><div class="image2-inset"><picture><source type="image/webp" srcset="https://substackcdn.com/image/fetch/$s_!ODkg!,w_424,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png 424w, https://substackcdn.com/image/fetch/$s_!ODkg!,w_848,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png 848w, https://substackcdn.com/image/fetch/$s_!ODkg!,w_1272,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png 1272w, https://substackcdn.com/image/fetch/$s_!ODkg!,w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png 1456w" sizes="100vw"><img src="https://substackcdn.com/image/fetch/$s_!ODkg!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png" width="598" height="333" data-attrs="{&quot;src&quot;:&quot;https://substack-post-media.s3.amazonaws.com/public/images/d68dba66-a50b-434b-a189-d001df3eb23c_598x333.png&quot;,&quot;srcNoWatermark&quot;:null,&quot;fullscreen&quot;:null,&quot;imageSize&quot;:null,&quot;height&quot;:333,&quot;width&quot;:598,&quot;resizeWidth&quot;:null,&quot;bytes&quot;:null,&quot;alt&quot;:null,&quot;title&quot;:null,&quot;type&quot;:null,&quot;href&quot;:null,&quot;belowTheFold&quot;:false,&quot;topImage&quot;:true,&quot;internalRedirect&quot;:null,&quot;isProcessing&quot;:false,&quot;align&quot;:null,&quot;offset&quot;:false}" class="sizing-normal" alt="" srcset="https://substackcdn.com/image/fetch/$s_!ODkg!,w_424,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png 424w, https://substackcdn.com/image/fetch/$s_!ODkg!,w_848,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png 848w, https://substackcdn.com/image/fetch/$s_!ODkg!,w_1272,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png 1272w, https://substackcdn.com/image/fetch/$s_!ODkg!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png 1456w" sizes="100vw" fetchpriority="high"></picture><div class="image-link-expand"><div class="pencraft pc-display-flex pc-gap-8 pc-reset"><button tabindex="0" type="button" class="pencraft pc-reset pencraft icon-container restack-image"><svg role="img" width="20" height="20" viewBox="0 0 20 20" fill="none" stroke-width="1.5" stroke="var(--color-fg-primary)" stroke-linecap="round" stroke-linejoin="round" xmlns="http://www.w3.org/2000/svg"><g><title></title><path d="M2.53001 7.81595C3.49179 4.73911 6.43281 2.5 9.91173 2.5C13.1684 2.5 15.9537 4.46214 17.0852 7.23684L17.6179 8.67647M17.6179 8.67647L18.5002 4.26471M17.6179 8.67647L13.6473 6.91176M17.4995 12.1841C16.5378 15.2609 13.5967 17.5 10.1178 17.5C6.86118 17.5 4.07589 15.5379 2.94432 12.7632L2.41165 11.3235M2.41165 11.3235L1.5293 15.7353M2.41165 11.3235L6.38224 13.0882"></path></g></svg></button><button tabindex="0" type="button" class="pencraft pc-reset pencraft icon-container view-image"><svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round" class="lucide lucide-maximize2 lucide-maximize-2"><polyline points="15 3 21 3 21 9"></polyline><polyline points="9 21 3 21 3 15"></polyline><line x1="21" x2="14" y1="3" y2="10"></line><line x1="3" x2="10" y1="21" y2="14"></line></svg></button></div></div></div></a></figure></div><p>为了利用演示数据最好地拟合策略,我们首先需要引入 <a href="https://en.wikipedia.org/wiki/Likelihood_function">似然(likelihood)</a> 的概念。简而言之,对于熟悉统计推断的读者来说,行为克隆执行的是最大似然估计。我们希望通过赋予演示数据在所学策略下较高的似然值,来估计最符合演示数据的模型参数。</p><h2>蒲丰投针问题中的最大似然估计</h2><p>最大化似然意味着什么?虽然概率是将某个事件映射为其发生的可能性,但似然则是将模型参数映射为一组观测结果的联合概率。为了巩固这一定义,让我们在一个经典的概率问题——蒲丰投针问题(Buffon's Needle)上执行最大似然估计。</p><div class="captioned-image-container"><figure><a class="image-link image2" target="_blank" href="https://substackcdn.com/image/fetch/$s_!uck-!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png" data-component-name="Image2ToDOM"><div class="image2-inset"><picture><source type="image/webp" srcset="https://substackcdn.com/image/fetch/$s_!uck-!,w_424,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png 424w, https://substackcdn.com/image/fetch/$s_!uck-!,w_848,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png 848w, https://substackcdn.com/image/fetch/$s_!uck-!,w_1272,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png 1272w, https://substackcdn.com/image/fetch/$s_!uck-!,w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png 1456w" sizes="100vw"><img src="https://substackcdn.com/image/fetch/$s_!uck-!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png" width="241" height="218" data-attrs="{&quot;src&quot;:&quot;https://substack-post-media.s3.amazonaws.com/public/images/0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png&quot;,&quot;srcNoWatermark&quot;:null,&quot;fullscreen&quot;:null,&quot;imageSize&quot;:null,&quot;height&quot;:218,&quot;width&quot;:241,&quot;resizeWidth&quot;:null,&quot;bytes&quot;:null,&quot;alt&quot;:null,&quot;title&quot;:null,&quot;type&quot;:null,&quot;href&quot;:null,&quot;belowTheFold&quot;:false,&quot;topImage&quot;:true,&quot;internalRedirect&quot;:null,&quot;isProcessing&quot;:false,&quot;align&quot;:null,&quot;offset&quot;:false}" class="sizing-normal" alt="" srcset="https://substackcdn.com/image/fetch/$s_!uck-!,w_424,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png 424w, https://substackcdn.com/image/fetch/$s_!uck-!,w_848,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png 848w, https://substackcdn.com/image/fetch/$s_!uck-!,w_1272,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png 1272w, https://substackcdn.com/image/fetch/$s_!uck-!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png 1456w" sizes="100vw" fetchpriority="high"></picture><div class="image-link-expand"><div class="pencraft pc-display-flex pc-gap-8 pc-reset"><button tabindex="0" type="button" class="pencraft pc-reset pencraft icon-container restack-image"><svg role="img" width="20" height="20" viewBox="0 0 20 20" fill="none" stroke-width="1.5" stroke="var(--color-fg-primary)" stroke-linecap="round" stroke-linejoin="round" xmlns="http://www.w3.org/2000/svg"><g><title></title><path d="M2.53001 7.81595C3.49179 4.73911 6.43281 2.5 9.91173 2.5C13.1684 2.5 15.9537 4.46214 17.0852 7.23684L17.6179 8.67647M17.6179 8.67647L18.5002 4.26471M17.6179 8.67647L13.6473 6.91176M17.4995 12.1841C16.5378 15.2609 13.5967 17.5 10.1178 17.5C6.86118 17.5 4.07589 15.5379 2.94432 12.7632L2.41165 11.3235M2.41165 11.3235L1.5293 15.7353M2.41165 11.3235L6.38224 13.0882"></path></g></svg></button><button tabindex="0" type="button" class="pencraft pc-reset pencraft icon-container view-image"><svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2" stroke-linecap="round" stroke-linejoin="round" class="lucide lucide-maximize2 lucide-maximize-2"><polyline points="15 3 21 3 21 9"></polyline><polyline points="9 21 3 21 3 15"></polyline><line x1="21" x2="14" y1="3" y2="10"></line><line x1="3" x2="10" y1="21" y2="14"></line></svg></button></div></div></div></a></figure></div>
查看原文
查看缓存全文

缓存时间: 2026/05/08 08:45

# 什么是行为克隆(BC)?我们如何使用它? 来源:https://mlberkeley.substack.com/p/bc *作者:Surya Vengadesan* 在这篇博客文章中,我们将探讨模仿学习(Imitation Learning),它是强化学习(Reinforcement Learning, RL)的“兄弟”领域。虽然强化学习的目标是在给定建模环境的马尔可夫决策过程(MDP)的情况下巧妙地求解策略(见前一篇文章 (https://ml.berkeley.edu/blog/posts/mdps/)),但模仿学习的目标是在仅给定智能体在 MDP 中的轨迹的情况下学习策略。具体来说,我们将介绍一种称为行为克隆(Behavioral Cloning, BC)的特定算法。该算法早在 1980 年代就被用于训练自动驾驶汽车 (https://papers.nips.cc/paper/1988/file/812b4ba287f5ee0bc9d43bbf5bbe87fb-Paper.pdf),并被用于 Alpha-Go 的第一次实现 (https://www.nature.com/articles/nature16961)。如果你不熟悉 RL 和 MDP,不用担心,理解下文的思想可以忽略这些背景信息。 行为克隆背后的主要思想是根据专家演示(expert demonstrations)为 MDP 学习一个策略。例如,你可能收集一组数据集,包含某人根据汽车摄像头图像给出的方向盘转向指令,从而学习一个能够进行基础自动驾驶的策略。这个策略本质上是一个将状态集合映射到动作分布的函数。自然的问题是,如何构建这样的算法?在这篇博客中,我们将首先介绍必要的理论,然后逐步构建行为克隆算法的组成部分,并在 OpenAI Gym 环境中实现它。 [](https://substackcdn.com/image/fetch/$s_!ODkg!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd68dba66-a50b-434b-a189-d001df3eb23c_598x333.png) 为了用演示数据最佳地拟合策略,我们首先需要引入**似然(Likelihood)**的概念 (https://en.wikipedia.org/wiki/Likelihood_function)。简而言之,对于熟悉统计推断的人来说,BC 执行的是最大似然估计(Maximum Likelihood Estimation, MLE)。我们希望估计最能拟合演示数据的模型参数,通过使学习到的策略对演示数据赋予较高的似然值来实现。 最大化似然意味着什么?概率将某个事件映射为其发生的可能性,而似然则将模型参数映射到一组观测值的联合概率。为了巩固这一定义,让我们在一个常见的概率问题——蒲丰投针实验(Buffon's Needle)上执行最大似然估计。 [](https://substackcdn.com/image/fetch/$s_!uck-!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F0255c3b4-9cfc-45d5-8e72-ae7ba9c2911f_241x218.png) 给定一组间距为 *d* 的平行线,你在这些线之间随机投掷一根长度为 *l* 的针,针触碰到线条的概率是多少?这里的参数是 *{l, d}*,我们可以尝试根据一些样本投掷结果来估计它们。形式上,如果我们定义 *x* 为针的中点到最近一条线的距离,*θ* 为上述定义的相交角度,我们得到了由法国博物学家蒲丰定义的均匀概率分布: \\\(P\(\text{Needle touches a line} \| X = x, \Theta = \theta\) = \frac{2l}{\pi d}\\) 假设我们将两条平行线之间的距离固定为 *d=3*,并假设我们获得了三次投针的试验数据点,每次针都触碰到了线条: \\(\mathcal{D} = \{d_1, d_2, d_3\} = \{(0, 0), (1, \frac{\pi}{2}), (1, \frac{\pi}{6})\}\\) 什么长度的参数 *l* 能使重现该数据集的似然最大化?鉴于似然被定义为观测事件发生概率的乘积,我们有以下形式: \\(\mathcal{L}(\mathcal{D}|l) = \Pi_{i=1}^3 P(d_i)\\) 为了解决这个具体示例,我们可以首先找到参数的边界,并选择使上述似然函数最大化的那个值。第一个边界是 *l < d*,这样一根针一次不能与多条线相交。此外,根据问题的几何特性,当满足以下条件时,针会与线相交: \\(x < \frac{l}{2} \sin(\theta)\\) 这给出了另外三个不等式: \\(0 \leq \frac{l}{2} * 0\\) \\(1 \leq \frac{l}{2} * 1\\) \\(1 \leq \frac{l}{2} * \frac{\sqrt{3}}{2}\\) 所有这些区间的交集是: \\(\frac{\sqrt{3}}{2} \leq l \leq 3\\) 现在, \\(argmax_{\frac{\sqrt{3}}{2} \leq l \leq 3} \mathcal{L}(\mathcal{D}|l) = 3\\) \\(\mathcal{L} (\mathcal{D}|l = 3) = (\frac{2l}{3\pi})^3 = \frac{8}{9\pi^3}.\\) 我们刚刚证明,给定一些观测值,我们可以计算出最有可能产生该数据的针的长度(即 *l=3*)。这套寻找最优参数的分析步骤,本质上就是我们在 BC 中所做的事情,只是应用在了更复杂的环境中,其中无法再应用如此简单的步骤。 因此,当将这种技术应用于强化学习和控制的场景时,我们可以将事件表示为一个轨迹(即一系列状态-动作对),该轨迹在给定策略下具有一定的发生概率。在下文中,*τ* 是状态-动作对 *(s_i, a_i)* 的轨迹,*\pi(a_i|s_i)* 是在状态 *s_i* 下采取动作 *a_i* 的策略概率,*T(·)* 是在采取状态-动作对 *(s_i, a_i)* 后进入状态 *s_{i+1}* 的转移概率: \\(\tau = \{(s_0, a_0), (s_1, a_1), \cdots, (s_n, a_n)\} \\) \\(P(\tau) = \Pi_{i = 0}^{n} \pi(a_i|s_i)\mathcal{T}(s_{i+1}|s_i, a_i)\\) 给定一组这样的演示轨迹数据集,因此似然就是所有单个轨迹概率的乘积。下面的方程应该类似于上面蒲丰投针的示例: \\(\mathcal{D} = \{\tau^1, \cdots , \tau^n\}\\) \\(\mathcal{L}(\mathcal{D}) = \Pi_{i = 1}^{n} P(\tau^i)\\) 为了估计更复杂模型的参数,我们可以使用监督学习技术,即给定一组输入状态和输出动作,我们学习两者之间的映射,该映射作为策略。通过调整监督学习模型的参数,我们可以解决上述的最大似然估计问题。 因此,解决这个优化问题的第一步是选择一个具体的模型进行优化。例如,模型可以是一个接收状态作为输入并输出动作的神经网络。所使用的具体神经网络架构应根据你的特定任务进行选择工程设计。 在本文的剩余部分,我们将把所有这些部分组合在一起,构建一个行为克隆的实现,使用一些基本方法。我们的 BC 实现将包含三个组件: `` (1) 数据集:Cartpole (2) 模型:全连接神经网络(FC Neural Network) (3) 损失:二元交叉熵损失(Binary Cross Entropy Loss) `` 为了演示 BC,我们选择了 Open AI Gym 中的一个简单图形环境,称为 cartpole。智能体由一个放置在无摩擦表面上的小车组成,顶部通过无摩擦关节连接一根杆。智能体的目标是平衡这根杆。它具有离散的动作空间:{向左推 - 0,向右推 - 1} 和连续的状态空间:{小车位置 - [-4.8, 4.8],小车速度 - [-inf, inf],杆角度 - [-24, 24 (度)],杆角速度 - [-inf, inf]}。 为了获得专家演示,我们快速训练了 Open AI 的 PPO 实现并从其训练好的智能体中采样。现在,我们剩下的是监督学习问题,这是 BC 的核心。我们使用具有三个层的全连接神经网络来解决这个监督学习问题,每层后接 ReLU 非线性激活,最后一层使用 Sigmoid 非线性激活。给定训练数据,我们现在可以近似一个将状态映射到动作的函数,这就充当了你行为克隆的策略。 虽然我们的专家 PPO 智能体熟悉环境的奖励结构,但我们在不知道底层 MDP 的情况下也能实现类似的性能。但是,当我们的训练智能体与专家演示未覆盖的状态交互时,它将不知道该如何行为。这个问题被称为分布偏移(distribution shift),可能导致一系列错误步骤的累积,从而造成灾难性后果。如果 BC 智能体遇到即使是一点点不熟悉的状态,它会采取错误的动作,导致它进入更加不熟悉的状态——很容易偏离专家的行为。针对我们的具体任务,我们尽力通过工程手段规避这个问题以及其他出现的问题——见下文。 在训练行为克隆网络的过程中,需要一些工程技巧才能让克隆体正常工作,列出如下供参考。 (1) 添加最终的 Sigmoid(即不是 TanH 或 ReLU)非线性激活,以适应二元动作并避免数值不稳定 (2) 如果样本过少不足以覆盖复杂的专家行为,则从专家那里生成更多样本数据 (3) 不要让模型太深,以防止过拟合 (4) 对学习率进行超参数搜索 上述步骤使 BC 智能体从一个甚至无法保持杆直立的小车,转变为能够平衡杆多个步骤的小车。在早期的实验中,我没有采样足够的专家数据点来真正学习专家 cartpole 的非线性动力学,因此我需要确保生成足够的样本数据。我还注意到我的初始网络输出的动作是动作空间之外的整数(即 -1 或 3),所以我不得不添加 Sigmoid 来限制这种行为并提高数值稳定性。最后,我必须调整模型深度和学习率,以处理抖动行为,这很可能是由于过拟合和收敛到局部最优解分别导致的。我本可以继续追求更多的工程方法以确保更好的性能,但一旦能够用克隆体演示成功的学习行为,我就停止了。 `` ''' Imports ''' import numpy as np import torch import torch.nn as nn import torch.nn.functional as F import gym from stable_baselines.common.policies import MlpPolicy from stable_baselines import PPO1 from stable_baselines.gail import generate_expert_traj ''' Create Env and Train Expert ''' env = gym.make('CartPole-v1') model = PPO1(MlpPolicy, env, verbose=1) model.learn(total_timesteps=250000) model.save("ppo1_cartpole") model = PPO1.load("ppo1_cartpole") ''' Generate Expert Demonstrations Specs: No. of Trajectories: 1000 No. of State action Pairs: 479318 Model: PPO (taken from Open AI Baseline Implementation) ''' size = 1000 generate_expert_traj(model, 'expert_cartpole', env = env , n_timesteps=0, n_episodes=size) demos = np.load('expert_cartpole.npz', mmap_mode='r') data_in = demos['obs'] data_out = demos['actions'] ''' Define BC Model as NN Specs: NN: 3 layers (4 each cells with ReLu) and Sigmoid on Output Loss: BCE (Binary Cross Entropy) ''' class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(4, 4) self.fc2 = nn.Linear(4, 4) self.fc3 = nn.Linear(4, 1) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = F.sigmoid(self.fc3(x)) return x net = Net() model = net ''' Train BC Model ''' criterion = nn.BCELoss() learning_rate = [10, 1, 0.1, 0.01, 0.001, 0.0001] #learning_rate that worke = [1.5] for lr in learning_rate: x = torch.from_numpy(data_in).to(torch.float32) y = torch.from_numpy(data_out).to(torch.float32) for t in range(200): y_pred = model(x) loss = criterion(y_pred, y) print(t, loss.item()) model.zero_grad() loss.backward() with torch.no_grad(): for param in model.parameters(): param.data -= lr * param.grad ''' Render BC Agent and Generate Gifs ''' env = gym.make('CartPole-v1') obs = env.reset() #frames = [] T = 200 for t in range(T): obs = torch.from_numpy(obs) model.double() action = model.forward(obs) if action < 0.5: action = 0 else: action = 1 #print(action) obs, rewards, dones, info = env.step(action) #print(obs) env.render() time.sleep(.025) #frames.append(env.render(mode="rgb_array")) `` [](https://substackcdn.com/image/fetch/$s_!oiq-!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F50cf649d-afc1-498e-a279-2baf089a8596_600x400.gif) [](https://substackcdn.com/image/fetch/$s_!HqKj!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F84b312f2-7150-464e-aec6-f8488ebc47df_600x400.gif) 正如你所见,它的表现并不是非常好,仅仅是一个低配版的 PPO。然而,通过更多的模型工程和精心挑选的初始化数据,你可以看到更好的结果。 如果你对这个材料感兴趣,请在下面的参考文献中阅读更多关于行为克隆和其他模仿学习方法的内容。此外,我要感谢几位人士的关键贡献:(1) Charlie Snell 帮助调试 BC 网络并分享了他使用 gym 和训练智能体的工程经验 (2) Aurick Zhou 解释了 BC 背后的直觉及其与 MLE 的联系。 - 模仿学习综述论文。https://arxiv.org/pdf/1811.06711.pdf - Bertsekas 和 Tsitsiklis 的《概率导论》。蒲丰投针实验示例 3.11 和第 9.1 章经典参数估计 - 似然维基百科。https://en.wikipedia.org/wiki/Likelihood_function - BC 自动驾驶论文(ALVINN)。https://papers.nips.cc/paper/1988/file/812b4ba287f5ee0bc9d43bbf5bbe87fb-Paper.pdf - 第一篇 Alpha-go 论文。https://www.nature.com/articles/nature16961 - 模仿学习 GitHub 仓库。https://github.com/HumanCompatibleAI/imitation - PPO 模型文档。https://stable-baselines.readthedocs.io/en/master/modules/ppo2.html - 数据集收集文档。https://stable-baselines.readthedocs.io/en/master/guide/pretrain.html - Cartpole 教程。https://xaviergeerinck.com/post/ai/rl/openai-cartpole - OpenAI Gym Cartpole 环境。https://github.com/openai/gym/blob/master/gym/envs/classic_control/cartpole.py - Pytorch RL 教程。https://pytorch.org/tutorials/intermediate/reinforcement_q_learning.html - Pytorch 基础教程。https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html - 另一个 Pytorch 基础教程。https://github.com/jcjohnson/pytorch-examples - 又一个 Pytorch 基础教程。https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html - Gym GIF 渲染器。https://gist.github.com/botforge/64cbb71780e6208172bbf03cd9293553 #### 关于本文的讨论 ### 准备好更多了吗?

相似文章

Best Practice Critic Optimization

Hugging Face Daily Papers

BPCO 引入了一种稳定的配方,用于语言模型中基于评论者的强化学习,结合有界价值预测和蒙特卡洛目标,以单响应采样匹配基于组的方法。

Contrastive Branch Policy Optimization

arXiv cs.LG

CBPO引入了一种对比分支策略优化方法,用于具有可验证奖励的强化学习中的细粒度信用分配,提升了语言模型在多个基准测试中集成工具的推理任务的性能。