@NVIDIAAI: 大多数运动控制论文将一个控制器定制给一个特定任务。今年在SIGGRAPH上,我们的研究团队提出:能否让电机控制…
摘要
NVIDIA 研究提出了生成式预训练控制器(GPC),一种使用离散token和基于Transformer的下一token预测来预训练电机控制的方法,从而可以针对新任务进行微调。GPC在600多小时的运动数据上训练,可在实时物理仿真中运行,实现交互式控制。
查看缓存全文
缓存时间: 2026/06/30 21:47
大多数运动论文都是将一个控制器与一个特定任务相绑定。今年在SIGGRAPH上,我们的研究团队提出了一个问题:运动控制本身能否被预训练并复用?
生成式预训练控制器(GPC)将运动技能转化为离散标记的词汇表,并通过下一标记预测训练一个基于Transformer的生成式控制器。就像GPT一样,同一个预训练控制器随后可以微调以解决新任务。
GPC在超过600小时的运动数据上训练,能够在物理模拟中实时运行,为交互控制生成自然且符合物理规律的行为。
相似文章
NVIDIA研究解锁高级抓取、更智能的自动驾驶和大规模智能体训练
NVIDIA研究在CVPR上展示三篇论文:GraspGen-X(零样本抓取基础模型)、LCDrive(高效自动驾驶推理)和NitroGen(通用游戏AI基础模型),强调物理AI系统的大规模训练。
Humanoid-GPT:扩展数据和结构以实现零样本运动追踪
Humanoid-GPT 是一种GPT风格的Transformer,在十亿级运动语料库上预训练,实现了对未见过的动作和任务的全身运动追踪的零样本泛化。
NVIDIA的AI智能体教会机器人无需人类帮助将GPU安装到主板上
NVIDIA与卡内基梅隆大学(CMU)和加州大学伯克利分校(UC Berkeley)共同开发的ENPIRE框架,利用AI编码智能体自主训练机器人执行高精度物理任务(如GPU安装),通过闭环反馈和真实硬件测试实现了99%的成功率。
MotiMotion:基于视觉推理的运动控制视频生成
MotiMotion提出了一种先推理后生成的框架,用于运动控制的视频生成。该框架利用视觉语言推理来优化运动轨迹,并采用置信度感知的控制方案来提高合理性,在新基准上优于现有方法。
使用时间段模型进行预测和控制
OpenAI 推出了一种使用深度生成模型在时间段上学习复杂非线性系统动力学的方法,能够实现稳定的长期预测和可微分的轨迹优化以进行基于模型的控制。