如何训练你的机器人

# 如何训练你的机器人 来源：https://www.construction-physics.com/p/how-to-train-your-robot 过去几年中，AI能力的巨大飞跃在很大程度上得益于海量训练数据的可得性。Gwern于2020年发表的颇具影响力的论文《Scaling Hypothesis》（https://gwern.net/scaling-hypothesis），写于GPT-3发布之后，论证了近年来AI的进步源于规模效应：更大的模型、更大的数据集，以及更多的训练算力。Gwern写道： > *缩放假说（scaling hypothesis）将规模的红利视为通往通用人工智能（AGI）的秘诀：智能不过是在（当前）不可企及的规模上，将简单的神经单元与学习算法应用于多样化经验的结果。随着计算资源的不断提升，使得在所需规模上运行这些算法成为可能，神经网络将变得越来越智能。* 同样，化名AI研究者Nostalgebraist于2024年（https://nostalgebraist.tumblr.com/post/741247180226052096/i-dont-think-youre-drawing-the-right-lesson-from）写道："当前的整个格局可以追溯到一个认识：随着在更多数据上训练，ML模型会稳步且可预测地提升。而此后的所有进展，都是在硬件快速迭代的推动下，用更大的数据集训练更大的模型。" Epoch AI发现，自2010年代初以来，AI语言模型的训练数据集规模大约每六个月翻一番（https://epoch.ai/data-insights/dataset-size-trend）。当今最大的AI模型已在数以十万亿计的token上进行了训练。 随着越来越多的精力投入到将现代AI应用于机器人领域，一个关键问题是："训练数据从何而来？" 语言模型可以在大量现有的文本语料上训练。例如，GPT-3是在从互联网抓取的约3000亿token的数据上训练的（https://lambda.ai/blog/demystifying-gpt-3）。2024年，Epoch AI估计现有优质、可获取的文本数据总量约为300万亿token（https://epoch.ai/publications/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data）。但并不存在同等规模的优质、公开的机器人训练数据。弄清楚机器人的训练数据从何而来、以及需要多少，已成为该领域的关键问题。 训练一个AI模型——无论是LLM还是用于控制机器人的模型——从根本上都需要大量某事被正确完成的示例（或者足够了解正确动作是什么样的，从而能对尝试进行打分）。你将一组输入喂给模型，将模型的输出与实际的、正确的输出进行比较，然后利用两者之间的差异，通过某种形式的梯度下降来修改模型的参数以缩小差距。（本月早些时候我们曾深入探讨过这一过程（https://www.construction-physics.com/p/understanding-the-ai-that-drives）。） 对于文本而言，一个训练样本可以只是一段现有的文本；你取一段文本，将其中一部分喂给模型，让它预测序列中的下文。因此，一段文本可以通过向模型输入不同部分来生成许多训练样本。 （图片：通过 Opus 5.5 生成） 训练机器人时，一个样本通常是对某项任务的完成或尝试过程的某种记录。人们使用多种不同的方法来创建这些记录并将其转化为训练数据。 历史上，创建这些记录最常用的方法之一叫做"遥操作"（teleoperation）。在遥操作中，一个人操控与机器人直接连接的某些控制装置，通过它们驱动机器人完成某项特定任务（折叠衬衫、拾取和搬运物体等）。下图展示了一个人遥操作一对机器人手臂，用它们将水从水壶倒入杯中。 当人执行任务时，机器人的状态数据被记录下来，同时还有记录任务过程的摄像头画面（通常安装在机器人本身上），这些数据被组合起来构成一个训练样本。一个样本可能包括将机器人在序列中某个特定时刻的状态数据和摄像头所见内容喂给模型。模型会尝试预测下一个机器人的动作是什么（以关节角度等形式），然后将其与实际动作进行比较。这种利用专家（人类）生成的样本来训练模型进行模仿的训练策略，被称为行为克隆（behavioral cloning）（https://aisafety.info/questions/8AEQ/What-is-behavioral-cloning），它属于更广泛的"模仿学习"范畴。 （图片：通过 Opus 5.5 生成） 这种方法的主要优势在于，它生成的数据与机器人的实际运动能力非常匹配，因为数据来自你想要训练的真实机器人，因此至今仍被广泛使用。你有时会看到来自大规模数据采集工厂（https://www.sixthtone.com/news/1017920）的视频或照片，里面满是除了遥操作机器人完成各种任务之外什么也不做的人；你有时也会看到遥操作事故（https://www.teslarati.com/tesla-optimus-dramatically-collapses-after-teleoperator-mishap/），即操作者忘了自己在操控机器人，突然以机器人无法承受的方式移动。 但遥操作也有缺点。最大的问题可能是成本：要获取数据，你需要一台真实的机器人，外加一个人坐在那里操控它，这使得这种方法难以大规模扩展以产出海量数据。另一个缺点是，人以这种方式操控机器人相当笨拙；他们通常无法从被操作的物体上获得任何触觉反馈来指导动作，因此这不一定能产生真正优秀的灵巧操作数据。这种笨拙性也使得收集高质量的遥操作数据变得困难，据我所知，收集到的遥操作数据中只有少部分最终对训练有用。 也可以通过让现有机器人自主移动、记录其动作，然后用某种系统将这些行为序列分类为成功或不成功来生成训练数据。这种让机器人自主移动、以某种方式对其动作进行评分的策略，被称为"强化学习"（reinforcement learning）。Google在2016年前后就以类似方式运作过一个"机械臂农场"：一系列机器人手臂自主移动（https://research.google/blog/deep-learning-for-robots-learning-from-large-scale-interaction/），以机械臂是否拾取或抓握到物体来评分成功与否。 这种机械臂农场如今似乎并未被广泛使用，但使用实际部署的机器人很可能最终会成为最大的机器人训练数据来源。你经常听机器人领域的从业者谈论"数据飞轮"（data flywheel）的必要性：在现实世界中部署机器人，利用它们产生的数据来训练更好的模型，从而带来更多机器人部署，产生更好的模型，如此循环往复。 例如，机器人AI公司 Physical Intelligence 就在办公室附近的一家巧克力工厂试验这种"部署机器人做实际工作、利用它收集数据来改进模型"的原型飞轮（https://www.automate.org/ai/industry-insights/on-the-job-learning-how-physical-intelligence-is-putting-robots-to-work）。但尽管这可能最终奏效，目前进行任何类似实际工作的AI控制机器人数量极少。现实世界的数据也往往极其重复——机器人在非常相似的条件下一遍又一遍地做同样的任务——这使得其训练价值大大降低。因此目前大部分数据仍需来自其他来源。 另一种非常常见的生成机器人训练数据的策略是仿真（simulation）：不在现实中运行物理机器人，而是在仿真世界中运行数字机器人。这也常与强化学习结合使用，即让机器人尝试在某个仿真空间中导航，然后根据其表现评分。另一种变体是教师/学生范式（https://arxiv.org/pdf/2410.10438）：一个"教师"模型可以完全访问仿真环境中的所有数据，而一个"学生"模型只能看到真实机器人会看到的内容（摄像头画面和自身内部状态），然后试图让学生模仿教师。 仿真的优势在于，仿真一个机器人比在现实中部署一个机器人要便宜和快速得多，并且可以通过仿真数千个机器人的行为来获得海量数据。Figure AI 通过对数千个仿真机器人进行强化学习，教会了其人形机器人行走（https://www.figure.ai/news/reinforcement-learning-walking）。OpenAI 通过相当于13,000年的仿真经验，教会了一只机械手解魔方（https://venturebeat.com/ai/openai-teaches-a-robotic-hand-to-solve-a-rubiks-cube）。到2019年，Waymo在现实中行驶了1000万英里，但在仿真中行驶了100亿英里（https://techcrunch.com/2019/07/10/waymo-has-now-driven-10-billion-autonomous-miles-in-simulation/）。 （图片：通过 Figure 生成） 但仿真也有缺点。最大的问题是，它产出的数据质量取决于仿真的准确性。对于某些事情，比如运动（locomotion，让机器人在物理空间中移动），仿真相当准确，因为其行为在很大程度上已被充分表征，我们可以在数字世界中加以建模。所以你可以在仿真中训练四足机器人穿越某种地形，或双足机器人跳舞，或无人机沿某条路径飞行，而仿真环境将是对现实世界相当好的近似。但对于物体操作（尤其是软体或可变形物体），构建一个能准确捕捉现实世界行为的仿真要困难得多，将其作为训练数据来源也更加困难。这通常被称为"仿真到现实差距"（sim-to-real gap，https://www.3genrobotics.com/blogs/understanding-sim-to-real-gap-robotics）。 由于仿真的不准确性，一种流行的仿真技术叫做"域随机化"（domain randomization）。由于你不知道摩擦力等参数在现实中会是什么值，你决定在运行仿真时随机改变这些参数，期望创建一个涵盖现实中会遇到的参数的训练包络。例如，当OpenAI训练其机械手解魔方时，它不断扩大被测试的参数范围，迫使模型学会在越来越困难的环境中解魔方，期望赋予其能泛化到现实世界的能力。该团队的机器人团队之所以特别采用这种策略，是因为精确的物理建模太困难了（https://openai.com/index/solving-rubiks-cube/）： > *我们面临的最大挑战是在仿真中创建足够多样的环境，以捕捉现实世界的物理特性。摩擦力、弹性和动力学等因素对于魔方或机械手这样的复杂物体来说极难测量和建模，我们发现仅靠域随机化是不够的。为了克服这一点，我们开发了一种新方法，称为自动域随机化（ADR），它能不断生成难度递增的仿真环境。这使我们无需拥有现实世界的精确模型，并使得在仿真中学习的神经网络能够迁移到现实世界。* 但尽管有这项技术和相当大量的仿真（13,000个仿真年），表现也只是尚可——对于难度最大的起始排列，成功率仅为20%——这或许就是为什么目前这种技术似乎没有被广泛用于操作训练的原因。不过，环境参数随机化在运动训练中似乎是相当标准的做法，例如用于随机改变被穿越表面的摩擦系数（https://arxiv.org/pdf/2109.11978）等。 使用仿真的另一种方式是创建合成训练数据：以真实训练数据为输入，利用它生成大量类似的训练样本。例如，Nvidia 有一个页面（https://build.nvidia.com/nvidia/isaac-gr00t-synthetic-manipulation）展示了如何使用其 Isaac GR00T 机器人仿真平台，以遥操作数据为输入生成合成机器人训练数据。合成数据生成似乎也被广泛用于训练自动驾驶车辆（https://medium.com/amelias-blog/how-autonomous-vehicles-use-synthetic-data-9b3d1e0b60d7）。 我们还可以通过记录人类执行任务并建立某种从记录的任务数据到机器人的映射来创建机器人训练数据。这可能很简单，比如给人佩戴头戴式摄像头（创建所谓的"第一人称视角视频"，即egocentric video），用它记录人用双手执行各种任务的过程。然后处理视频，将人的动作解读为机器人动作，用来创建训练样本。（这也是人形机器人形态在机器人领域流行的原因之一：人类执行任务将是一个相当不错的训练数据来源。）例如，Figure AI 最近宣布了 Index 项目，通过向人们寄送头戴式摄像头来记录他们执行各种任务的过程（或者，Figure 也会派一支配备这些摄像头的团队到你家里或公司为你做家务）。像 Shift（https://www.joinshift.org/）这样的公司也在做同样的事情，将戴着帽子式摄像头的人派到人们的家中记录他们做家务的过程。 （图片：Figure 采集第一人称视角视频数据，图片来源：Figure（https://www.figure.ai/news/introducing-index）） 你还可以添加更多传感器来收集更丰富的人类任务数据。已倒闭的初创公司 Eidon AI（https://x.com/theSamPadilla/status/2102533979291443495）在人们的手臂上贴上传感器，收集关节位置数据以训练机器人手臂。Neocambrian AI 最近发布了"Mitts"，他们将其描述为"最先进的触觉手套，为机器人采集高精度触觉数据"。