MIT研发超声腕带:佩戴者可通过自身动作控制机械手

MIT News — Artificial Intelligence 论文

摘要

MIT研究人员开发了一款超声腕带,利用AI实时追踪手部动作,从而控制机械手或虚拟环境。该技术发表于《自然·电子学》,旨在突破摄像头和传感手套的局限,改进机器人灵巧训练与VR交互。

<p>下次滑动手机时,不妨花点时间欣赏这一看似平常的动作:正是依靠手部34块肌肉、27个关节以及100多条肌腱和韧带的协调配合,这一行为才得以实现。的确,手是我们身体最灵活的部位。而模拟手部丰富细腻的动作,长期以来一直是机器人技术和虚拟现实领域的挑战。</p><p>如今,MIT工程师设计了一款超声腕带,能够精确追踪佩戴者的实时手部动作。这款腕带会在手部运动时生成腕部肌肉、肌腱和韧带的超声图像,并搭配人工智能算法,持续将图像转化为五根手指和手掌的对应位置。</p><p>研究人员可以训练腕带学习佩戴者的手部动作,设备随即能实时将动作数据传输给机器人或虚拟环境。</p><p>在演示中,研究团队展示了一位佩戴腕带的人如何无线控制一只机械手。当此人做出手势或指向时,机器人会同步模仿。在这种无线木偶式的交互中,佩戴者可以操控机器人弹奏简单的钢琴曲,或将小篮球投入桌面篮筐。借助同一款腕带,佩戴者还能操控屏幕上的物体,例如捏合手指来放大或缩小虚拟物体。</p><p>研究团队正利用该腕带收集更多用户的手部运动数据,涵盖不同的手型尺寸、手指形状和手势。他们设想构建一个大规模手部运动数据集,可用于训练人形机器人完成灵巧任务,例如执行特定外科手术。这款超声腕带还可用于在电子游戏、设计应用或其他虚拟环境中抓取、操控和交互物体。<br><br>"我们认为这项工作能够立即产生影响,有望以可穿戴超声腕带取代虚拟现实和增强现实中的手部追踪技术,"MIT机械工程系Uncas and Helen Whitaker教授赵选贺表示,"它还能为灵巧型人形机器人提供海量训练数据。"</p><p>赵选贺、卢庚希及其同事在今日发表于<em>《自然·电子学》</em>的<a href="https://www.nature.com/articles/s41928-026-01594-4" target="_blank">论文</a>中介绍了这款腕带的新设计。其他MIT合作者包括前博士后陈晓宇、李树聪、邓博磊;博士生金成铉、李典;博士后王舒、李润泽;以及MIT教务长、Vannevar Bush电气工程与计算机科学教授Anantha Chandrakasan。其他合作作者包括南加州大学的研究生郑宇顺、张俊航,刘宝强、龚晨以及Qifa Zhou教授。</p><p><strong>看见"牵线"</strong></p><p>目前,捕捉和模拟人类手部灵巧度的方法有多种。一些方法使用摄像头记录人手操作物体或执行任务时的动作。另一些方法则让人佩戴带有传感器的手套,记录手部动作并将数据传输给接收端机器人。但为不同应用场景搭建复杂的摄像头系统不切实际,且容易受到视觉障碍干扰。而搭载传感器的手套可能限制人手的自然运动和触感。</p><p>第三种方法利用腕部或前臂肌肉的电信号,科学家将其与特定手部动作关联。研究人员在这一方法上取得了显著进展,但这些信号容易受到环境噪声影响,且灵敏度不足以区分细微的动作变化。例如,它们或许能分辨拇指和食指是捏合还是分开,但无法捕捉两者之间的运动轨迹。</p><p>赵选贺团队思考,超声成像或许能捕捉更灵巧、更连续的手部动作。他的团队一直在开发各种形式的超声贴片——将医生诊室中使用的换能器微型化,并搭配可安全贴合皮肤的水凝胶材料。</p><p>在这项新研究中,团队将超声贴片设计整合到可穿戴腕带中,持续对腕部肌肉和肌腱进行成像。</p><p>"腕部的肌腱和肌肉就像牵动木偶的线,而你的手指就是木偶,"卢庚希说,"所以思路是:每次拍摄这些线的状态,就能知道手的状态。"</p><p><strong>映射操控</strong></p><p>研究团队设计了一款带有超声贴片的腕带,大小与智能手表相当,并集成了约手机大小的机载电子元件。他们将腕带佩戴在志愿者手腕上,确认该设备能在志愿者做出各种手势时生成清晰连续的腕部图像。</p><p>接下来的挑战在于,如何将腕部的黑白超声图像与手的具体位置对应起来。事实证明,手指和拇指具有22个自由度,即伸展或弯曲的不同方式。研究人员发现,可以在超声图像中识别出与这22个自由度对应的具体区域。例如,某一区域的变化与拇指伸展相关,而另一区域的变化则与食指运动相关。</p><p>为建立这些关联,佩戴腕带的志愿者会以各种姿势活动手部,研究人员则用环绕志愿者的多台摄像头记录这些手势。通过将超声图像特定区域的变化与摄像头记录的手部位置匹配,团队能够为腕部图像区域标注相应的手部自由度。但要持续、实时地完成这种转化,对人类而言是不可能完成的任务。</p><p>因此,团队转向了人工智能。他们采用了一种可训练识别图像模式、并将其与特定标签关联的AI算法,在本研究中即手的各种自由度。研究人员用精心标注的超声图像训练算法,标注出与特定自由度相关的图像区域。他们在新的超声图像集上测试该算法,发现它能正确预测对应的手势。</p><p>成功将AI算法与腕带配对后,研究人员在更多志愿者身上测试了该设备。在这项新研究中,八位手型和腕部尺寸不同的志愿者佩戴腕带,做出各种手势和抓握动作,包括美国手语全部26个字母的比划。他们还握持了网球、塑料瓶、剪刀和铅笔等物品。在每种情况下,腕带都能精确追踪和预测手部位置。</p><p>为展示潜在应用,团队开发了一款简单的计算机程序,与腕带无线配对。当佩戴者做出捏合和抓握动作时,这些手势对应于屏幕上物体的缩放,并能以流畅连续的方式虚拟移动和操控物体。</p><p>研究人员还将腕带测试为简单商用机械手的无线控制器。佩戴腕带时,志愿者做出弹奏键盘的动作,机器人则实时模仿这些动作,弹奏简单的钢琴曲。同一机器人还能模仿人的手指轻敲,玩桌面篮球游戏。</p><p>赵选贺正
查看原文
查看缓存全文

缓存时间: 2026/05/08 09:05

# 腕带让佩戴者通过自身动作控制机械手 来源:https://news.mit.edu/2026/wristband-enables-wearers-control-robotic-hand-with-their-own-movements-0325 下次你滑动手机时,不妨花点时间欣赏一下这一壮举:这个看似平常的动作,得益于手部34块肌肉、27个关节以及100多条肌腱和韧带的协调配合。确实,手是我们身体最灵活的部位。模仿手部丰富细腻的手势一直是机器人和虚拟现实领域的长期挑战。 现在,MIT工程师设计了一款超声腕带,能够精确实时追踪佩戴者的手部动作。这款腕带在手部运动时生成腕部肌肉、肌腱和韧带的超声图像,并配有人工智能算法,持续将图像转换为五指和手掌的对应位置。 研究人员可以训练腕带学习佩戴者的手部动作,设备能实时将这些动作传达给机器人或虚拟环境。 在演示中,团队展示了一位佩戴腕带的人可以无线控制机械手。当这个人做手势或指向时,机器人也会做出相同动作。在这种无线木偶般的互动中,佩戴者可以操控机器人弹奏简单的钢琴曲,并将小篮球投入桌面篮筐。使用同一款腕带,佩戴者还能操控电脑屏幕上的物体,例如捏合手指来放大和缩小虚拟物体。 该团队正利用这款腕带从更多不同手型、指型和手势的用户那里收集手部运动数据。他们设想建立一个大型手部运动数据集,可用于训练人形机器人完成精细操作任务,例如执行某些外科手术。这种超声腕带还可用于在电子游戏、设计应用或其他虚拟环境中抓取、操控和交互物体。 "我们认为这项工作能够立即产生影响,有望用可穿戴超声腕带取代虚拟现实和增强现实中的手部追踪技术,"MIT机械工程系的Uncas and Helen Whitaker教授赵选贺(Xuanhe Zhao)说。"它还能为灵巧的人形机器人提供大量训练数据。" 赵选贺、卢庚希(Gengxi Lu)及其同事今天在《Nature Electronics》上发表的一篇论文(https://www.nature.com/articles/s41928-026-01594-4)中介绍了这款腕带的新设计。他们的MIT合著者包括前博士后陈晓宇、李书聪和邓博磊;研究生金成贤和李典;博士后王舒和刘润泽;以及MIT教务长、Vannevar Bush电气工程与计算机科学教授Anantha Chandrakasan。其他合著者包括研究生郑宇顺和张俊航、刘宝强、宫晨,以及南加州大学的周岐发教授。 **看见"线绳"** 目前有多种方法可以捕捉和模仿人手的灵巧性。一些方法使用摄像头记录人手操作物体或执行任务时的动作。另一些方法让人佩戴带有传感器的手套,记录手部动作并将数据传输给接收机器人。但为不同应用搭建复杂的摄像头系统不切实际,且容易受到视觉障碍的干扰。而布满传感器的手套可能限制人手的自然运动和触感。 第三种方法利用腕部或前臂肌肉的电信号,科学家将其与特定手部动作关联起来。研究人员在这一方法上取得了重大进展,但这些信号容易受到环境噪声的影响。它们也不够灵敏,无法区分细微的动作变化。例如,它们可能分辨出拇指和食指是捏在一起还是分开,但无法捕捉中间路径的细微差别。 赵选贺的团队想知道超声成像是否能捕捉更灵巧、更连续的手部动作。他的团队一直在开发各种形式的超声贴片——这是医生诊所中使用的换能器的微型版本,搭配可安全贴合皮肤的凝胶材料。 在这项新研究中,团队将超声贴片设计融入可穿戴腕带中,持续对腕部肌肉和肌腱进行成像。 "你腕部的肌腱和肌肉就像拉动木偶的线绳,而你的手指就是木偶,"卢庚希说。"所以思路是:每次你拍下这些线绳的状态,就能知道手的状态。" **映射操控** 团队设计了一款带有超声贴片的腕带,大小与智能手表相当,并添加了大约手机大小的机载电子元件。他们将腕带佩戴在志愿者手腕上,确认设备能在志愿者做出各种手势时生成清晰连续的腕部图像。 接下来的挑战是将腕部的黑白超声图像与手的具体位置关联起来。事实证明,手指和拇指具有22个自由度,即伸展或弯曲的不同方式。研究人员发现,他们可以在腕部超声图像中识别出与这22个自由度相对应的具体区域。例如,某一区域的变化与拇指伸展相关,而另一区域的变化则与食指运动相关。 为了建立这些关联,佩戴腕带的志愿者会在多个摄像头环绕下做出各种手部姿势,研究人员同时记录这些手势。通过将超声图像特定区域的变化与摄像头记录的手部位置进行匹配,团队可以将腕部图像区域标注为手部对应的自由度。但要持续、实时地进行这种转换,对人类来说是不可能完成的任务。 因此,团队转向了人工智能。他们使用了一种AI算法,可以训练其识别图像模式并将其与特定标签关联,在本案例中是手的各种自由度。研究人员用精心标注的超声图像训练算法,标注与特定自由度相关的图像区域。他们在新的超声图像集上测试该算法,发现它能正确预测对应的手势。 一旦研究人员成功将AI算法与腕带配对,他们便在更多志愿者身上测试了该设备。在这项新研究中,八位不同手和腕部尺寸的志愿者佩戴腕带,做出各种手势和抓握动作,包括打出美国手语中全部26个字母的手势。他们还握持了网球、塑料瓶、剪刀和铅笔等物体。在每种情况下,腕带都能精确追踪和预测手的位置。 为了展示潜在应用,团队开发了一个简单的计算机程序,并与腕带进行无线配对。当佩戴者做出捏合和抓握动作时,这些手势对应于电脑屏幕上物体的放大和缩小,并能以流畅连续的方式虚拟移动和操控物体。 研究人员还将腕带作为简易商用机械手的无线控制器进行了测试。佩戴腕带时,一位志愿者做出弹奏键盘的动作。机器人则实时模仿这些动作,弹奏了一首简单的钢琴曲。同一个机器人还能模仿人的手指轻敲动作,玩桌面篮球游戏。 赵选贺计划进一步缩小腕带硬件的体积,同时用更多不同手型和尺寸的志愿者的手势和动作来训练AI软件。最终,团队致力于打造一个任何人都可以佩戴的可穿戴手部追踪器,以无线方式高灵巧度地操控人形机器人或虚拟物体。 "我们相信这是追踪灵巧手部运动最先进的方式,通过腕部可穿戴成像实现,"赵选贺说。"我们认为这些可穿戴超声腕带能为虚拟现实和机械手提供直观且多功能的控制。" 这项研究部分由MIT、美国国立卫生研究院、美国国家科学基金会、美国国防部,以及新加坡国家研究基金会通过新加坡-MIT研究技术联盟资助。

相似文章

超声波成像让机械手成为灵巧的模仿者

MIT Technology Review

麻省理工学院的研究人员开发了一种带有超声波贴片的手环,能够对手腕肌肉和肌腱进行成像,并利用人工智能将这些图像转化为手部动作,从而无线控制一只高灵巧度的机械手。