小米机器人-1：基于超过10万小时真实世界轨迹的视觉-语言-动作模型规模化

论文页面 - 小米机器人-1：基于超过10万小时真实世界轨迹扩展视觉-语言-动作模型

来源：https://huggingface.co/papers/2607.15330

🚀 小米机器人-1 正式发布：基于超过10万小时真实操作数据扩展机器人学习

语言和视觉领域的基础模型通过规模化——使用更多数据、更大模型和更强算力——取得了进步。然而，机器人技术仍面临一个根本性挑战：大规模、多样化且高质量的操作数据难以且成本高昂地获取。

今天，我们推出 小米机器人-1，这是一个视觉-语言-动作基础模型，旨在研究和解锁机器人学习中的规模化能力。它结合了大规模无具身预训练、真实机器人具身对齐和自然语言指令对齐，使模型能够获得广泛的操作知识，并高效迁移到物理机器人上。

🌍 从有限机器人数据到超过10万小时的真实世界经验

小米机器人-1 在超过10万小时的 UMI 真实世界操作轨迹上进行预训练，涵盖家庭、商业场所、工业场地和室外环境等 1,700 多个场景。

由于这些轨迹的收集不依赖于特定机器人具身，模型能够从更广泛的物体、环境和操作行为中学习，而这仅靠机器人收集的数据是无法实现的。

我们的实验展示了清晰的规模化趋势：

📉 增加预训练数据量或模型规模均能持续降低动作预测误差。

🧠 从原始操作轨迹到语言引导的动作

手动标注超过10万小时的数据并不现实。为此，我们构建了一个可扩展的基于 VLM 的自动标注流水线。

每条长操作轨迹被切分为较短的片段。然后，视觉语言模型描述每个片段中夹爪和物体的变化。小米机器人-1 被训练为生成能够产生语言指令所述状态转换的动作。

这使得大量非结构化的操作数据能够转化为连接视觉观察、语言目标和动作的训练样本。

🤖 从无具身知识到真实机器人技能

预训练后，小米机器人-1 利用跨具身机器人数据集与物理机器人对齐，包括在真实家庭环境中收集的超过 7,200 小时的内部真实机器人数据。

模型还经历了指令对齐，使其能够遵循自然语言指令，而不仅仅依赖状态转换描述。

对齐后，小米机器人-1 可直接执行广泛的移动操作任务，包括涉及从未见过的环境和物体实例的任务。

最重要的是，大规模预训练的优势会迁移到物理机器人上：

📈 使用更多预训练数据或更大模型规模的模型，在真实机器人上取得了更高的成功率，且未见性能饱和迹象。

⚡ 仅需数小时演示即可适应新任务

小米机器人-1 仅需少量任务特定机器人数据即可适应复杂下游任务。

我们在四个真实世界任务上对其进行了评估：手机包装、打印机加粉、衣物装载和箱子打包。

平均每个任务不足 10 小时的演示数据，小米机器人-1 实现了：

📈 75% 的整体成功率，而 π0.5 在相同数据预算下仅为 40%。

当训练数据增加至平均每个任务不足 40 小时时，整体成功率达到了：

📈 85%

这些结果表明，大规模预训练显著提升了学习新机器人技能时的数据效率。

🏆 在四个模拟基准测试中取得最先进成果

我们还在四个具有挑战性的模拟基准测试中评估了小米机器人-1：

📈 RoboCasa：平均成功率 74.5% 📈 RoboCasa365：平均成功率 57.4% 📈 VLABench：平均成功率 59.1% 📈 RoboDojo：平均成功率 13.93%

小米机器人-1 在所有四个基准测试中均取得了最佳报告性能，展现了在不同环境、任务和评估设置下的强大泛化能力。

小米机器人-1 证明，大规模无具身操作数据可以作为通用机器人学习的有效基础。

通过从广泛的真实世界经验中学习、与物理机器人具身对齐，并以有限演示适应新任务，小米机器人-1 向随规模提升而改进、并在任务、环境和具身间泛化的机器人基础模型迈出了重要一步。✨