通过学习深度逆动力学模型实现从仿真到真实世界的转移

# 通过学习深层逆动力学模型实现从仿真到真实世界的迁移 源：https://openai.com/index/transfer-from-simulation-to-real-world-through-learning-deep-inverse-dynamics-model/ ## 摘要 在仿真中开发控制策略通常比直接在真实世界中进行实验更实用、更安全。这适用于通过规划和优化得到的策略，更适用于通过强化学习得到的策略，后者通常数据需求量很大。然而，在仿真中成功的策略在部署到真实机器人上时往往不起作用。不过，策略在仿真中的总体行为在现实世界中通常仍然有效。本论文研究了这样的场景：仿真中遍历的状态序列对真实世界仍然合理，即使控制细节不同，这可能发生在关键差异在于详细的摩擦、接触、质量和几何特性的情况下。在执行过程中，我们的方法在每个时间步计算基于仿真的控制策略会做什么，但不是在真实机器人上执行这些控制，而是计算仿真期望得到的下一个状态，然后依靠学习的深层逆动力学模型来决定哪个真实世界的动作最适合达到这些下一个状态。深度模型的好坏取决于训练数据，我们还提出了一种数据收集方法来（增量地）学习深层逆动力学模型。我们的实验表明，我们的方法与为处理仿真到真实世界模型差异而开发的各种基线相比表现更好，包括输出误差控制和高斯动力学自适应。