人机协同深入水下

MIT News — Artificial Intelligence 论文

摘要

麻省理工学院林肯实验室正在开发用于人类与自主水下航行器(AUV)协同的算法和硬件,以改善军事任务中在浑浊条件下的水下导航和感知能力。

<p>一座岛屿突然断电。为了寻找海底电缆的断裂处,船只要么将整个电缆拉上来,要么部署遥控水下航行器(ROV)沿电缆行进。但如果有一台自主水下航行器(AUV)能够绘制电缆地图并精确定位故障点,供潜水员修复,情况会如何?</p><p>这种水下人机协作正是麻省理工学院林肯实验室一个项目的焦点,该项目通过内部管理的自主系统研发组合获得资助,并由<a href="https://www.ll.mit.edu/r-d/air-missile-and-maritime-defense-technology/advanced-undersea-systems-and-technology">先进水下系统与技术组</a>执行。该项目旨在利用人类和机器人各自的优势,优化美国海军的海上任务,包括关键基础设施检查与维修、搜救、港口入口以及反水雷行动。</p><p>“潜水员和AUV在水下通常根本不进行协作,”首席研究员麦德琳·米勒(Madeline Miller)表示。“需要人类参与的水下任务通常是因为涉及机器人无法完成的操作,例如修复基础设施或解除水雷。即使在执行需要高度技能的操纵任务时,ROV在水下也很难操作,因为其操纵器本身不够灵活。”</p><p>除了出色的灵巧性外,人类在水下识别物体方面表现出色。但在水下工作的人类无法执行复杂计算或快速移动,特别是当他们携带重型设备时;机器人在处理能力、高速机动性和耐力方面胜过人类。为了结合这些优势,米勒和她的团队正在开发用于水下导航和感知的硬件和算法——这是有效人机协作的两项关键能力。</p><p>正如米勒所解释的,潜水员可能只有指南针和踢蹼计数来引导他们。由于缺乏地标以及深水处光线不足或水体中存在生物物质导致的潜在浑浊条件,他们很容易迷失方向。为了让机器人帮助潜水员导航,他们需要感知周围环境。然而,在黑暗和浑浊的情况下,光学传感器(摄像头)无法生成图像,而声学传感器(声纳)生成的图像缺乏色彩,仅显示场景中物体的形状和阴影。历史上缺乏大型、标记好的声纳图像数据集阻碍了水下感知算法的训练。即使数据可用,动态的海洋也可能掩盖物体的真实特性,使人工智能感到困惑。例如,一架坠毁并破碎成多块的飞机,或是一只被贻贝过度覆盖的轮胎,可能分别不再像飞机或轮胎。</p><p>“最终,我们希望为远征环境设计导航和感知解决方案,”米勒说。“对于我们考虑的任务,没有机会或几乎没有机会提前绘制区域地图。例如,对于港口入口任务,你可能有卫星地图但没有水下地图。”</p><p>在导航方面,米勒的团队接手了由<a href="https://marinerobotics.mit.edu/">麻省理工学院海洋机器人组</a>、由<a href="https://meche.mit.edu/people/faculty/[email protected]">约翰·伦纳德(John Leonard)</a>领导的潜水员-AUV协同算法开发工作。凭借他们的导航算法,伦纳德的小组在最佳条件下进行了模拟,并在平静水域使用人力划桨皮划艇作为潜水员和AUV的代理进行了实地测试。米勒的团队随后将这些算法集成到具有任务相关性的AUV中,并开始更真实的海洋条件下进行测试,最初以支援船作为潜水员的替代,然后由真正的潜水员参与。</p><p>“我们很快了解到,当考虑到洋流时,你需要潜水员具备更多的传感能力,”米勒解释道。“麻省理工学院展示的算法中,车辆只需要定期计算与潜水员之间的距离(即范围)来解决随时间估计车辆和潜水员位置的优化问题。但在真实海洋力量的推动下,一切都在移动,这个优化问题迅速变得复杂。”</p><p>在感知方面,米勒的团队一直在开发一种人工智能分类器,它可以在任务中途处理光学和声纳数据,并对任何不确定分类的对象寻求人类输入。</p><p>“分类器的想法是传递一些信息——比如图像周围的一个边界框——给潜水员并表明,‘我认为这是一个轮胎,但我不确定。你觉得呢?’然后,潜水员可以回应,‘是的,你猜对了,或者不,看看图像中的其他地方以提高你的分类,’米勒说。</p><p>这个反馈循环需要水下声调制解调器来支持潜水员-AUV通信。目前最先进的声学通信速率需要数十分钟才能从AUV向潜水员发送未压缩图像。因此,团队正在研究的一个方面是如何将信息压缩到最小但仍具实用性,在水下通信带宽低、延迟高以及他们使用的商用现成(COTS)硬件体积小、重量轻、功率低的限制内工作。对于他们的原型系统,团队采购了主要是COTS传感器,并构建了一个传感器载荷,可以轻松集成到美国海军常规使用的AUV中,旨在促进技术转移。除了声纳和光学传感器外,该载荷还配备了用于与潜水员测距的声调制解调器和几个数据处理和计算板。</p><p>米勒的团队在新英格兰沿海地区测试了配备传感器的AUV和算法——包括在新罕布什尔州朴茨茅斯附近的大洋中,与新罕布什尔大学(UNH)的<a href="https://marine.unh.edu/facility/rv-gulf-surveyor">海湾勘探者号</a>和<a href="https://marine.unh.edu/facility/rv-gulf-challenger">海湾挑战者号</a>沿海研究船作为潜水员替代,以及在波士顿地区的查尔斯河上,以麻省理工学院帆船亭小艇作为替代。</p><p>“UNH的船只设备齐全,可以接触到真实的海洋条件。但假装用大船做潜水员是很困难的。使用小艇,我们可以更缓慢地移动,并使相对运动与潜水员和AUV如何一起导航相协调。”</p><p>去年夏天,团队开始在密歇根技术大学的<a href="https://www.mtu.edu/greatlakes/">大湖研究中心</a>与人类潜水员测试设备。虽然潜水员没有界面将信息反馈给AUV,但每位潜水员游泳时都拿着团队管状原型平板,称为“管状小平板”。管状小平板配备了压力和深度传感器、惯性测量单元(跟踪相对运动)和测距调制解调器——这些都是导航算法解决优化问题所必需的组件。</p><p>“测试期间的一个挑战是协调潜水员和车辆的运动,因为他们尚未协作,”米勒说。“一旦潜水员潜入水下,就无法与水面团队通信。因此,你必须计划放置潜水员和车辆的位置,以免他们相撞。”</p><p>团队还致力于解决感知问题。当时五大湖的水质清澈,允许使用光学传感器进行水下成像。卡洛琳·基南(Caroline Keenan),一位林肯学者计划博士生,同时在实验室的先进水下系统与技术组和麻省理工学院伦纳德的课题组工作,利用这个机会推进她从光学传感器到声纳传感器的知识转移工作。她正在探索光学分类器是否可以训练声纳分</p>
查看原文
查看缓存全文

缓存时间: 2026/05/08 08:54

# 人机协同潜入深海 来源:https://news.mit.edu/2026/human-machine-teaming-dives-underwater-0414 岛屿停电了。为了找到海底电力电缆的断点,船只要么拉起整条线路,要么投放遥控无人潜水器(ROV)沿线路巡检。但是,如果自主水下航行器(AUV)能够绘制线路地图并精确定位故障点,供潜水员修复呢? 这种水下人机协同正是麻省理工学院(MIT)林肯实验室一个项目的重点。该项目通过内部管理的自主系统研发组合获得资助,并由高级水下系统与技术组(https://www.ll.mit.edu/r-d/air-missile-and-maritime-defense-technology/advanced-undersea-systems-and-technology)执行。该项目旨在利用人类和机器人的各自优势,优化美国军事的海上任务,包括关键基础设施的检查与维修、搜救、港口进入以及反水雷行动。 “潜水员和AUV在水下基本上不进行团队协作,”首席研究员梅德琳·米勒(Madeline Miller)说。“需要人类参与的水下任务通常是因为涉及某种机器人无法完成的操纵任务,例如修复基础设施或销毁水雷。即使是ROV,在需要高度技能的操纵任务中也难以应对,因为其机械臂本身不够灵活。” 除了卓越的灵活性外,人类在水下物体识别方面也表现出色。但是,在水下工作的人类无法执行复杂计算,移动速度也很慢,特别是当他们携带重型设备时;机器人在处理能力、高速机动性和耐力方面优于人类。为了结合这些优势,米勒和她的团队正在开发用于水下导航和感知的硬件和算法——这是有效人机协同的两项关键能力。 正如米勒所解释的,潜水员可能仅依靠罗盘和鳍踢次数来指引方向。由于地标稀少,加上深水处光线不足或水体中存在生物物质可能导致能见度低,他们很容易迷失方向。为了让机器人帮助潜水员导航,它们需要感知环境。然而,在黑暗和浑浊的环境中,光学传感器(摄像头)无法生成图像,而声学传感器(声呐)生成的图像缺乏色彩,仅显示场景中物体的形状和阴影。历史上缺乏大规模、带标签的声呐图像数据集阻碍了水下感知算法的训练。即使有数据,动态的海洋环境也会掩盖物体的真实性质,使人工智能感到困惑。例如,一架坠毁并破碎成多片的飞机,或是一只被贻贝覆盖的轮胎,可能不再像飞机或轮胎。 “最终,我们要为远征环境设计导航和感知解决方案,”米勒说。“对于我们在考虑的任务来说,几乎没有或根本没有机会提前绘制区域地图。例如,对于港口进入任务,你也许有卫星地图,但没有水下地图。” 在导航方面,米勒的团队接过了由麻省理工学院海洋机器人组(https://marinerobotics.mit.edu/)启动的工作,该组由约翰·伦纳德(John Leonard,https://meche.mit.edu/people/faculty/[email protected])领导,致力于开发潜水员-AUV协同算法。利用他们的导航算法,伦纳德的团队在最佳条件下运行了模拟,并在平静水域进行实地测试,使用人力划桨皮划艇作为潜水员和AUV的代理。随后,米勒的团队将这些算法集成到具有任务相关性的AUV中,开始在更真实的海洋条件下进行测试,最初以支持船作为潜水员的代理,然后与实际潜水员一起测试。 “我们很快发现,当考虑海流因素时,潜水员需要更多的传感能力,”米勒解释道。“通过麻省理工学院展示的算法,车辆只需要定期计算到潜水员的距离(即范围),以解决估算车辆和潜水员随时间推移的位置这一优化问题。但在真实海洋力量的推动下,所有物体都在移动,这个优化问题会迅速变得复杂。” 在感知方面,米勒的团队一直在开发一种AI分类器,它可以在任务中途处理光学和声呐数据,并对任何分类不确定的物体征求人类意见。 “这个分类器的想法是传递一些信息——比如说,图像周围的一个边界框——给潜水员,并表明:‘我认为这是一个轮胎,但我不确定。你怎么看?’然后,潜水员可以回应:‘是的,你猜对了,或者不,请看图像中的这里以改进你的分类,’”米勒说。 这种反馈回路需要水下声学调制解调器来支持潜水员-AUV通信。最先进的海底声通信数据速率需要几十分钟才能从AUV向潜水员发送未压缩的图像。因此,团队正在调查的一个方面是如何将信息压缩到最少但仍具有实用性,同时考虑到水下通信的低带宽和高延迟,以及他们使用的现成(COTS)硬件的低尺寸、重量和功率限制。对于他们的原型系统,团队采购了大部分COTS传感器,并构建了一个传感器有效载荷,可以轻松集成到美国海军常规使用的AUV中,目的是促进技术过渡。除了声呐和光学传感器外,该有效载荷还包括用于测量潜水员距离的声学调制解调器和几个数据处理及计算板。 米勒的团队在新英格兰沿海地区测试了配备传感器的AUV和算法——包括在新罕布什尔州朴次茅斯附近的外海,与新罕布什尔大学(UNH)的“海湾调查员”号(https://marine.unh.edu/facility/rv-gulf-surveyor)和“海湾挑战者”号(https://marine.unh.edu/facility/rv-gulf-challenger)沿海研究船作为潜水员代理,以及在波士顿地区的查尔斯河,以麻省理工学院帆船馆的小艇作为代理。 “新罕布什尔大学的船只设备齐全,可以进入真实的海洋条件。但是用大船假装潜水员很难。用小艇,我们可以更慢地移动,并将相对运动调整到潜水员和AUV共同导航的方式。” 去年夏天,团队开始在密歇根技术大学的大湖研究中心(https://www.mtu.edu/greatlakes/)与人类潜水员一起测试设备。虽然潜水员没有界面将信息反馈给AUV,但每位潜水员都手持团队的管状原型平板电脑,俗称“Tube-let”。Tube-let配备了压力和深度传感器、惯性测量单元(用于跟踪相对运动)和测距调制解调器——这些都是导航算法解决优化问题所必需的组件。 “测试期间的一个挑战是协调潜水员和车辆的运动,因为他们还没有合作,”米勒说。“一旦潜水员潜入水下,就无法与水面团队通信。因此,你必须计划好放置潜水员和车辆的位置,以免发生碰撞。” 团队还致力于解决感知问题。当时大湖的水质清澈,允许使用光学传感器进行水下成像。卡罗琳·基南(Caroline Keenan)是林肯学者计划的博士生,同时在实验室的高级水下系统与技术组和伦纳德在麻省理工学院的研究小组工作,她抓住这个机会推进了她关于从光学传感器到声呐传感器的知识转移的工作。她正在探索光学分类器是否可以训练声呐分类器识别不存在声呐数据的物体。其动机是减少与标注声呐数据和训练声呐分类器相关的人类操作员负担。 随着内部资助的研究项目即将结束,米勒的团队现在正在寻求外部赞助,以完善并将技术转让给军事或商业合作伙伴。 “现代世界依赖海底电信和电力电缆运行,这些电缆容易受到破坏性行为者的攻击。随着更多国家开发和发展自主海上系统的能力,海底领域正变得越来越具有争议性。要维护全球经济安全和美国在海底领域的战略优势,就需要利用和结合人工智能和人类能力的最佳优势,”米勒说。

相似文章

利用计算机视觉增强鱼类监测的公民科学

MIT News — Artificial Intelligence

麻省理工学院和伍德韦尔气候研究中心的研究人员发表了一篇论文,探讨如何利用计算机视觉技术自动化鱼类监测,改进传统的公民科学方法,以助力河鲱鱼保护。

探索共享工作空间中的人机协同

arXiv cs.AI

本文研究了共享工作空间中的人机团队协调,使用Collaborative Gym和DiscoveryBench任务,发现如果没有适当的结构,增加协作者可能会降低性能。通过共享组记忆和人在回路门控进行支撑,可以提升性能,尤其是在三人团队中。

超越伙伴多样性:基于影响的团队引导框架用于零样本人机协作

arXiv cs.AI

本文提出了基于影响的团队引导(IBTS)框架,用于零样本人机协作。该框架通过影响力塑造发现多样化的交互模式,并将轨迹引导至更强的协调方向。在包含两个智能体与三个智能体的Overcooked-AI实验(包括一项30名受试者的人类研究)中,IBTS在团队表现上优于基线方法。