会思考的机器:具身智能(10分钟阅读)

TLDR AI 新闻

摘要

本文批判了那种认为在人工智能突破后机器人学仅仅是一个集成问题的简化观点,强调了训练数据稀缺和视觉语言动作模型泛化能力的挑战。它将这些限制与通过传统自动化实现的专门工业机器人的可靠性进行了对比。

视觉和语言模型正在取得进展,但机器人学中的具身人工智能由于操作任务的训练数据稀少且成本高昂而举步维艰。机器人在任务固定的领域表现出色,但通用机器人则显得力不从心,这在Libero等基准测试中的低性能表现中可见一斑。初创公司应专注于狭窄、有仪器的部署。创新在于将现有的机器人数据转化为训练见解。确保物理人工智能系统的可靠性至关重要。
查看原文
查看缓存全文

缓存时间: 2026/09/08 23:55

# 会思考的机器,第三部分:具身智能 来源:https://janbosch.com/machines-that-think-embodied-intelligence/ 这一次,那个令人宽慰的故事是关于迁移的故事。视觉问题解决了,语言问题解决了。随着人工智能走向具身化,机器人学不过是一个整合问题:取一个已能理解世界的模型,将其与机械臂和摄像头相连,能力便能顺流而下灌入机器之中。难的部分是智能,而我们现在已经拥有了。 我花很多时间与那些制造具有质量和动量的物体的公司打交道,一次又一次地看到将机械、电子和软件整合为一个系统是多么复杂。如果你曾研究过类似的系统,我想你也会觉得上述故事和我一样难以置信。 让我从视觉-语言-动作模型(VLA)说起。VLA 是一项重大创新,它们有效且发展迅速。谷歌 Deepmind 的 Gemini Robotics On-Device 2,于七月发布,接收文本指令、机器人自身视角的图像和本体感觉数据,并输出动作。关键的是,它运行在机器人本体上。无需往返通信,不依赖网络。机器人学正是边缘计算不再是成本优化,而成为物理必要性的领域,尤其是在涉及安全考量时。 因此,能力正在到来。问题在于训练数据。语言模型是基于人类积累的文本输出训练的,这些文本是出于其他原因产生的,恰好闲置在那里。操作领域没有等价的语料库。每一个机器人以陌生姿态拾取陌生物体的训练样本,都必须由一台真实的机器在实际时间中生成,通常由人类远程操作。在有人为机器人和操作员付费以按物理现实速度逐次生成这些数据之前,数据并不存在。 这不是一个规模扩大就能解决的暂时性短缺;这是两类模型获取能力方式上的结构性差异,并且这体现在结果中。一项对2023年2月至2026年6月间发表的1,228篇视觉-语言-动作论文的近期分析(https://labelstud.io/blog/vla-robot-data-problem/?ref=janbosch.com),量化了这个领域一直私下感到不安的状况。在Libero基准测试中,成功率约95%的表现,在场景受到轻微扰动时会暴跌至30%以下。在另一项基准测试中,性能从超过90%直接降到零。不是下降,是归零。 机器人擅长精确重复相同的模式,但即使是微小的变化也往往使行为降级到不可接受的水平。这不是一个学会了操作物体但今天状态不佳的模型;这是一个记住了一组轨迹,却被要求做稍微超出范围事情的模型。而诚实的参与者自己也这么表示:Gemini Robotics On-Device 2 的模型卡明确指出,其对于分布外任务的泛化能力“有限”。 我在这里需要谨慎,因为这很容易被误解为机器人悲观主义,但它不是。机器人是有效的。它们工作得异常出色。国际机器人联合会统计(https://ifr.org/ifr-press-releases/news/global-robot-demand-in-factories-doubles-over-10-years?ref=janbosch.com),2024年安装了54.2万台工业机器人,全球运行中的机器人保有量达466万台,同比增长9%。这些机器在焊接、放置和码垛方面的可靠性,是任何语言模型都无法企及的。它们通过根本不进行泛化来实现这一点。它们是针对一个固定装置、一个零件和一个单元进行编程的,所有超出该范围的情况都被工程手段排除,而不是通过学习来解决。这是传统自动化,而非具身智能。 问题不在于机器人是否有效,而在于通用机器人是否有效,而在这方面的证据比资金所暗示的要薄弱得多。今年我看到的最有启发性的数字来自宝马部署的Figure 02单元,它们在11个月里累计运行了大约1250小时(https://kraneshares.com/humanoid-robotics-in-2026-the-race-from-pilot-to-platform/?ref=janbosch.com)。请稍作思考。11个月,这些机器平均每天运行不到四小时。对于工业资产而言,这不是部署;这是一场漫长而昂贵的实验。与此同时,风险资本在2025年向机器人领域投入了407亿美元,美国银行预计2026年人形机器人出货量约在9万台左右。资本与运行时长之间的差距就是整个故事。 当然,ChatGPT的最初版本用途非常有限,但此后取得了惊人的进步。随着所有对机器人领域的风险投资,我们也将看到该领域的进步,但大语言模型拥有机器人领域梦寐以求的训练数据语料库。 对于初创公司而言,这改变了你真正在构建的东西。如果模型可以下载,硬件也越来越容易购买,那么你的差异化优势在哪里?在我看来,答案在于那个能在你特定物理现实切片中生成数据的装置,而且这个切片越窄,你的胜算就越大。 尽管承诺的是通用机器人,但我认为正确的答案恰恰相反。通用性是对分布的一种主张,而封闭分布的唯一方法就是界定它。一家选择单一任务、单一环境类别、单一夹具的初创公司,才可能收集到足够的轨迹来覆盖长尾部分。而长尾正是所有价值和所有风险所在之处。一家承诺制造万能机器人的初创公司,就承诺了一个自己无法负担的数据收集问题。在种子轮阶段,正确的问题不是“你的模型能力有多强?”,而是“在故障率变得可接受之前,你需要多少小时的真实世界交互?谁来支付这些费用?” 想想自动驾驶汽车,它可以被视为一种狭窄、专用的机器人。经过十多年的承诺,我们仍在等待其广泛普及。解决方案是在一个城市甚至一个城市的一部分进行精心训练,正如Waymo等公司正在做的。或者在物流领域,只在仓库和工厂之间一段固定路线上行驶的自动驾驶卡车。答案是尽可能地缩小范围,同时仍保持商业可行性。 这里有一个陷阱值得明确指出,因为Libero的数字使其变得具体。一次演示是来自训练分布的一个样本。它几乎无法告诉你在分布之外一步的性能如何,而从90%到零的崩溃并非你可以外推的渐变斜坡。任何评估机器人公司的投资者或高管,都应该要求查看扰动测试结果,而不是精彩集锦。如果一个团队无法向你展示当光照变化、物体旋转40度时会发生什么,那么他们就未能衡量真正重要的事情。 对于大型现有企业,计算方式再次反转,并且在这种情况下,是以一种异常有趣的方式反转。那466万台已安装的机器,代表了现存最大的物理交互数据集。而且几乎没有数据被以能够训练任何东西的形式捕获下来。这些机器人中的每一台都多年来一直在执行、记录和纠正。谁想出办法为已安装的设备加装传感器,并将数十年的工业运动转化为训练数据,谁就拥有了真正的资产,这是再多风险投资也无法复制的,因为机器人已经螺栓固定在地板上了。 另一方面存在风险在于智能层的去中间化。如果模型成为决定机器能做什么的关键,那么一家制造优秀机械臂但从其他地方购买智能的公司,就变成了一个提供商品化执行器的供应商。对于现有企业和初创公司来说,理解未来的价值所在都至关重要。正如数十年的数字化所教导我们的,价值从原子转向比特,无论是软件、数据还是人工智能。 这里还有一个地理事实,呼应了本系列的第一部分。2024年,亚洲占据了新安装机器人的74%,仅中国就占了29.5万台,中国本土制造商现在占据了其国内市场的57%,而十年前仅为28%。计算基集中在少数几个地方,具身层也是如此——只是不是同样的几个地方。尽管如此,如果训练数据是关键限制,我认为很明显可以从新安装的机器人中收集到最多数据的地方在哪里,而再次强调,那不在欧洲。 对于社会而言,本能的反应是直接转向就业问题,这个对话值得进行,但并非我所认为最紧迫的。更直接的问题是我们所能容忍的极限存在错位。 我们集体认为语言模型偶尔犯错是可以接受的,因为错误答案的成本是某人读到它然后继续前进。这种容忍度在面对一个具有质量的机器时无法存活。一个在人身边工作的人形机器人不能只有95%的正确率;生产标准必须远高于99.9%。这两个数字之间的差异不是渐进式的工程改进,而是一个完全不同的学科。物理人工智能将一种以概率行为为特征的技术,放置在一个花了一个世纪试图排除概率行为的环境中。 即使在没有人会因概率行为而受伤的场景中,机器人损坏自身、其他机器人、产品或周边基础设施所造成的财务后果,也会完全摧毁商业可行性。与物理世界交互的系统,需要按照完全不同的可靠性、稳健性和安全性要求进行工程设计。 这就是我自夏季以来一直探讨的线索变得不可避免的地方。当实现是一个学习到的策略而非编写的代码时,你进行版本控制和捍卫的是机器必须遵守的契约,以及它仍在遵守的持续证据。对于一个物理系统,该契约不仅必须规定机器将做什么,还必须规定它绝不会做什么,并且证据必须是持续的,而非仅在调试时收集一次。我们目前还没有良好的工程实践来处理这个问题。我们有在旋转下崩溃至零的基准测试,这大致相当于在有人想到记录回归测试是什么之前软件测试的状况。 乐观的解读是,操作是一个数据问题,而数据问题正是我们这个行业知道如何攻克的,只要它不再假装那是模型问题。悲观的解读是,物理现实的长尾比任何人的资本都要长。我自己的观点更接近前者而非后者,但时间线被拉长了:狭窄、有界、仪器完备的部署将在多年内悄然积累,直到某种值得称之为“通用”的东西出现在车间里。 这是对本行业大部分存在之前一位机器人学家所洞见的现代重述。汉斯·莫拉维克在1988年《孩子的心智》中写道:“让计算机在智能测试或下跳棋中表现出成人水平相对容易,而要让它们具备一岁孩子在感知和运动方面的技能则困难或不可能。”我们构建了成人;我们仍在努力构建那个一岁孩童。 *系列下一篇:***人形机器人之问**——通用型身体是否是正确的赌注,以及无论答案如何,其代价是什么。 *想阅读更多类似内容?请访问[email protected]订阅我的通讯,或在janbosch.com/blog、LinkedIn (linkedin.com/in/janbosch) 或 X (@JanBosch) 关注我。*

相似文章

机器人学习的理由

ML at Berkeley

本文探讨了由于莫拉维克悖论(Moravec's paradox)给机器人编程带来的挑战,并提出通过机器人学习来实现具身智能作为解决方案。

深入解读Thinking Machines的交互模型(17分钟阅读)

TLDR AI

Thinking Machines的新研究批评了当前单线程AI交互模型,认为这些模型强制人类进行干净的输入输出循环,限制了人机协作。该实验室提出了一种新的交互模型,支持类似于实时人类对话的连续、多模态协作。

机器人需要的不仅仅是VLA和世界模型

Hugging Face Daily Papers

本文立场论文认为,推进机器人智能需要将非结构化的行为数据通过专门的接口进行整合,用于标注、具身映射、世界建模和奖励推断,而不是仅仅依赖扩展视觉-语言-动作(VLA)模型和世界模型。