用机器人手解魔方

OpenAI Blog 新闻
robotics reinforcement-learning sim-to-real domain-randomization openai neural-networks

摘要

OpenAI 开发了一个能够解魔方的机器人手，采用了一种名叫自动域随机化 (ADR) 的新技术，通过逐步提高模拟难度，使学到的行为能有效地从模拟环境迁移到真实世界。

我们训练了一对神经网络来用类人机器人手解魔方。这些神经网络完全在模拟环境中进行训练，使用的是与 OpenAI Five 相同的强化学习代码，再加上一种名叫自动域随机化 (ADR) 的新技术。该系统能够处理训练期间从未见过的情况，例如被毛绒长颈鹿戳戳。这表明强化学习不仅是虚拟任务的工具，还可以解决现实世界中需要前所未有的灵巧性的问题。
查看原文 导出为 Word 导出为 PDF
查看缓存全文

缓存时间: 2026/04/20 14:55

# 用机器人手解魔方 来源：https://openai.com/index/solving-rubiks-cube/ 我们面临的最大挑战是创建足够多样化的模拟环境，以捕捉真实世界的物理特性。摩擦力、弹性和动力学等因素对于魔方或机械手这样复杂的物体来说极其难以测量和建模，我们发现仅靠域随机化是不够的。 为了克服这个问题，我们开发了一种名为*自动域随机化*（ADR）的新方法，它可以在模拟中无限生成难度逐步增加的环境。B (https://openai.com/index/solving-rubiks-cube/#citation-bottom-B)这使我们摆脱了对真实世界精确模型的依赖，使在模拟中学习的神经网络能够转移到真实世界应用。 ADR 从一个单一的、未随机化的环境开始，神经网络在其中学习解魔方。随着神经网络在任务中表现不断改进并达到性能阈值，域随机化的程度会自动增加。这使任务变得更加困难，因为神经网络现在必须学会泛化到更多随机化的环境中。网络继续学习，直到再次超过性能阈值，此时更多随机化介入，过程重复进行。

相似文章

学习灵巧性

OpenAI Blog

OpenAI 宣布推出 Dactyl，这是一个通过模拟和强化学习来学习机器人手灵巧性的系统，使用 LSTM 来在不同物理环境中泛化，并通过 Rapid PPO 实现来训练能够迁移到现实世界操纵任务的策略。

域随机化与生成模型在机器人抓取中的应用

OpenAI Blog

# 域随机化与生成模型在机器人抓取中的应用 来源：[https://openai.com/index/domain-randomization-and-generative-models-for-robotic-grasping/](https://openai.com/index/domain-randomization-and-generative-models-for-robotic-grasping/) ## 摘要 基于深度学习的机器人抓取在算法改进和数据可用性增加的推动下取得了重大进展。然而，最先进的模型往往仅在数百或数千个未

通过动力学随机化实现机器人控制的仿真到现实迁移

OpenAI Blog

OpenAI 研究人员演示了一种通过使用随机化的模拟器动力学来训练策略，从而弥合现实差距的方法。这使得完全在仿真环境中训练的机器人能够成功迁移到现实世界任务，如物体操作，无需进行物理训练。

OpenAI Robotics Symposium 2019

OpenAI Blog

OpenAI 于 2019 年 4 月 27 日举办了首届机器人研讨会，汇聚了机器人学和机器学习领域的专家，讨论学习型机器人，并展示了其类人机器人手臂如何利用视觉和强化学习来解决操作任务。

从仿真泛化

OpenAI Blog

# 从仿真泛化 来源: [https://openai.com/index/generalizing-from-simulation/](https://openai.com/index/generalizing-from-simulation/) 仿真机器人的强化学习成果充斥市场，这可能会给人一种印象，即强化学习能轻松解决大多数机器人任务。但常见的强化学习算法只在那些对动作的小幅扰动能带来奖励增量变化的任务中表现良好。一些机器人任务具有简单的奖励函数，比如行走任务，可以根据行进距离来评分