Teaching a humanoid robot to play cornhole with Gemini 4 Argon

**TL;DR：DeepMind 实验让 Gemini 4 通过观看人类视频、在模拟器中练习并迭代纠错，学会了控制人形机器人玩沙包投掷（cornhole），最终连续七袋全部投进洞中。** # 教会人形机器人玩沙包投掷：Gemini 4 的实验 ## 实验目标与整体思路 在 Google DeepMind 的这个实验中，研究团队尝试能否教会 Gemini 4 控制一个人形机器人来玩沙包投掷游戏（cornhole）。 整个流程的设计十分直接： - 先给 Gemini 4 看一段人类完成这项任务的视频； - 然后提示 Gemini 4 运行 Mojoku 模拟器进行练习； - 接着让它从自身经验中学习，不断迭代、犯错，并查看每次出错时的视频录像； - 随着每次尝试积累的经验，它能够不断改进，做得更好。 整个过程中没有人工逐帧编程动作，而是让模型通过观察、模拟与自我纠错来掌握这项物理技能。 ## 从一次完美投掷说起 实验中最直观的一幕，是机器人空投沙包直接落入洞中： > 哇哦！空投直入洞中。太棒了！ 按照机器人自己的描述，为了精准地把沙包投进洞，它用了四个步骤。 ## 第一步：从人类视频中学习动作 第一步，它观看了一个人投掷沙包的视频，并追踪这个人的手臂摆动和出手动作，然后将这些人类动作映射到它自己的机器人关节和手上。 也就是说，视频理解在这里承担了"动作迁移"的起点——从人类的肢体运动中提取可执行的关节级动作。 ## 第二步：建立三维物理场景 第二步，机器人通过它的两个眼部摄像头测量出目标板子的确切三维位置，并建立了一个包含它自身和板子的物理模拟。 两个眼部摄像头提供了深度感知，让机器人能够把真实世界中的板子位置还原到模拟环境里，为后续的大量试错练习打下基础。 ## 第三步：在模拟器中练习投掷 第三步，它在模拟环境中练习投掷，具体调整包括： - **加宽站姿**； - **调整摆臂动作**，让手能够干净利落地越过髋部； - **投出一道平滑的弧线**。 这一步把所有试错都放在模拟器里完成，机器人可以在其中反复尝试而不必担心真实硬件的损耗或安全问题。 ## 第四步：迁移到真实机器人并微调 第四步，回到真实机器人上。它观察每一个沙包的实际落点，将出手位置每次调整几厘米，直到最终**连续七个沙包都全部直接投进洞中**。 从模拟到现实的迁移并不是一次性完成的，而是依靠逐袋的落点反馈进行小幅微调。 ## 关键能力：视频推理与经验学习 实验真正令人兴奋的地方，在于 Gemini 4 所展现出的两项能力： 1. **通过视频理解进行推理**，能够缩小范围，定位到底哪里出了问题； 2. **从自身经验中学习**，把每次失败转化为下一次尝试的改进依据。 正如视频中所说： > Gemini 4 能够通过其视频理解进行推理，缩小范围找出到底哪里出了问题，而且它能够从自身经验中学习，这看起来简直令人无比兴奋。 ## 小结 这次实验展示了一条从"观看人类演示"到"自主模拟练习"再到"真实世界微调"的完整技能习得路径。机器人不需要被逐条写死动作规则，而是通过视频理解、物理模拟和经验迭代，自行把一个粗糙的模仿逐步打磨成连续七投全中的稳定表现。 Source: [Teaching a humanoid robot to play cornhole with Gemini 4 Argon — Google DeepMind](https://www.youtube.com/watch?v=9PICEmtfpWU)