LLMs帮助机器人理解模糊指令并聚焦关键细节

# LLMs 帮助机器人理解模糊指令并聚焦关键细节 来源：https://news.mit.edu/2026/llms-help-robots-understand-vague-instructions-and-focus-key-details-0626 想象一下在不久的将来，你在仓库或办公室工作，需要帮助一名新员工学习工作基础。问题在于：它是个机器人。要教它，你可能会想玩一个“展示与讲述”的游戏——也就是通过几种不同的方式实际展示如何做某件事，同时解释你在做什么。 假设你让机器人在 Zoom 通话期间把咖啡放在你的办公桌上，但不要打扰你。你更希望机器人不要离你和笔记本电脑太近，以免中断会议。为了实现这种行为，机器人应该用能够清晰展示完整任务的数据进行训练。计算机科学家曾尝试通过录制大量物理演示或编写详细的指导说明，来向机器人解释操作任务。但如果你两者都没有，机器很可能误解它需要做什么。 对人类来说，既要展示又要讲述很费力，因此麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员实现了机器人教学过程的自动化，同时自动澄清指令，并且使用的演示数据几乎减少了五倍。他们的“掩蔽逆强化学习”（Masked IRL）方法利用一个大语言模型（LLM），根据用户演示收集的数据来详细阐述模糊的提示。随后，另一个 LLM 会缩小范围，确定算法应将哪些细节纳入运动规划，从而使机器人能够安全地在家庭、办公室和工厂中完成杂务。 “当人类与机器人互动但不想详细说明任务的所有细节时，我们的方法会派上用场，”麻省理工学院博士生、CSAIL 研究员 Minyoung Hwang 说，他是该项目论文（https://arxiv.org/abs/2511.14565）的第一作者。“我们通过让机器理解用户的真实意图，最大限度地减少了人力投入。” 据 Hwang 称，Masked IRL 可以帮助机器人在存在人类可能未在提示中描述但至关重要的元素的环境中安全移动。例如，一台从厨房为你拿零食的机器人可能不知道要避免撞到你的笔记本电脑。同样，工厂中负责将物品放入不同箱子的机器人必须小心地绕过货架。 为了在这些情境中学习新任务，Masked IRL 使用机器人的传感器捕捉周围环境的信息。这些组件还会记录每次动觉演示的每个动作——这是一种训练方法，人类通过物理移动机器人来完成特定动作。这有点像充当机器人的物理治疗师，将关节向特定方向弯曲，以示范如何抓取、移动和放置物体。 然后，麻省理工学院的系统调用一个 LLM，将此运动序列（称为轨迹）与最短可能路径进行比较。该模型还会详细阐述提示中可能不明确的内容，将“靠得近”这样的请求转化为“靠近桌面表面”。通过轨迹比较和澄清后的指令，LLM 开始理解训练所用的运动为何对该任务重要。 随后，第二个 LLM 评估环境中的细节，例如障碍物的位置和机器人目标物体的形状。在此过程中，它会“掩蔽”（即忽略）那些被认为与当前任务无关的元素，并为每个元素打分：“1”（重要）或“0”（不太重要）。例如，用户在演示过程中是否靠在桌子上会被标为“0”，视为无关。任何被评为“1”的细节都会被算法纳入最终的行动计划。 这些掩蔽使得 Masked IRL 在 3D 和现实世界演示中都相比同类基线方法具有关键优势，因为它教会了机器人哪些信息需要优先处理。通过研究人员的系统，虚拟机器人和真实机器人均能熟练地绕过障碍物移动物体，例如将咖啡杯绕过笔记本电脑移动到桌子上的不同位置。在这些任务中，Masked IRL 正确识别用户未在提示中明确表达的偏好的频率，比同类基线方法高出最多 15%。 在模拟实验中，CSAIL 的研究人员还发现 Masked IRL 学习速度很快。相比基线方法，它需要更少的演示就能理解如何移动杯子。他们还发现，当 LLM 澄清指令时，机器人的表现优于让机器尝试遵循模糊请求的做法。 这种更集中的方法也很好地迁移到了真实的机械臂上，使其能够执行训练阶段未见过的提示。经过 50 次动觉演示训练后，机器人小心地将一个杯子移向人类，同时避开与用户计算机相撞——通过详细阐述更通用的“远离”请求，机器人学会了避开这个障碍物。它还能在“紧贴”桌面的同时擦拭桌子，并在“远离”人类和桌面的同时将一袋薯片递给用户。 Masked IRL 能够感知并解释用户未说出口的内容，但很快它可能也能“看到”这些内容。CSAIL 的研究人员计划通过为其配备摄像头，使该方法更具动态性，让机器人能够拍摄周围环境的图像。这样它就能突出显示并聚焦于附近的特定元素。例如，如果你让机器拿起一个玩具，它可能会看到附近有些香蕉，但在处理目标物体前忽略它们。 Hwang 与三位 CSAIL 同事共同撰写了这篇论文：博士生 Alexandra Forsey-Smerek ’20, SM ’22；博士后 Nathaniel Dennler；以及麻省理工学院航空航天学系和 CSAIL 的助理教授 Andreea Bobu。他们的工作部分得到了塔塔集团通过麻省理工学院生成式人工智能影响联盟奖以及国防部的资助。他们将在 2026 年 6 月的 IEEE 国际机器人与自动化大会上展示该项目。