Safeworld能否说服人们,GenAI机器人不会伤害他们?
摘要
安全AI实验室主任Ding Zhao的初创公司Safeworld已从隐身状态中正式亮相,并获得超过1200万美元的种子轮融资。该公司致力于为GenAI驱动的机器人构建第三方安全评估体系,通过搭建包含逼真人类模型的模拟环境,在机器人部署之前针对各种边缘情况对其进行测试。
Safeworld正在打造数字人类,以确保机器人不会伤害现实中的真人。
查看缓存全文
缓存时间: 2026/10/05 14:36
# Safeworld 能否说服人们相信 GenAI 机器人不会伤害他们?| TechCrunch
Source: https://techcrunch.com/2026/10/05/can-safeworld-convince-people-that-gen-ai-robots-wont-hurt-them/
机器人领域的一大趋势是把控制权交给生成式 AI 模型,但这带来了一个问题:这种架构并不像传统算法那样可预测。你怎能确保你刚买的新款人形机器人是安全的呢?
卡内基梅隆大学 Safe AI 实验室主任 Ding Zhao 博士几乎整个职业生涯都在研究这个问题。如今,他与资深创业公司高管 Kyle Wong 以及机器学习工程师 Simo Rachidi 共同创办了 Safeworld 公司,致力于解决这一难题。
Zhao 说:“我们所说的安全挑战是两方面因素的结合:一是非常先进的生成式 AI 概率性评估——如何为一个概率性系统承保风险?第二部分非常困难,那就是信任问题,而部署机器人这两者缺一不可。”
Safeworld (https://www.safeworld.ai/) 今日正式结束隐身状态,宣布完成超过 1200 万美元的种子轮融资,由 Shine Capital 和 a16z Speedrun 领投,Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors 和 SV Angel 参与投资。
a16z Speedrun 合伙人 Jonathan Lai 告诉 TechCrunch:“制定行业安全标准的最佳时机就是现在,趁机器人还在设计和部署阶段。等到机器人进入家庭、与孩子发生碰撞并造成安全事故时,那就太晚了。”
Safeworld 的专长是在填充了逼真人类模型的仿真环境中评估机器人控制系统。这类似于 Tesla 或 Wayve 等公司面临的挑战,这些公司必须确保它们的车辆在道路上遇到各种意外情况时做出恰当反应。但 Zhao 认为,机器人面临的挑战会更大,因为它们工作在非结构化的环境中,而且它们所处的每个设施的安全标准都不尽相同。
Wong 说:“最常见的场景之一就是这个工厂里是否存在一个盲区拐角。你需要知道机器人以多快的速度或多长的制动距离行驶,才能确保它不会撞到某个特定的人。例如,如果一个人正抱着箱子走过来,机器人能否检测到这个人?”
为了回答这个问题,Safeworld 会在 Genesis 或 MuJoCo 这类仿真模型中构建那个拐角的数字化版本,插入正在评估的机器人仿真模型(由其真实软件驱动),然后运行数千个场景,让人类模型与机器人相遇。Zhao 说,这比看起来更难,因为人是不可预测的。
Wong 说:“绊倒摔跤也是一个很好的例子,我们在仿真中做了大量这类测试。否则,你就得亲自去绊倒摔跤给机器人看,这可是一件让人一直去做的事情。”
Safeworld 正在构建的平台与机器人制造商内部使用的工具确实存在一些相似之处。但创始人们认为,除了他们自身的专业能力之外,机器人制造商会希望有一个第三方来验证他们的工作,哪怕是竞争对手之间也可以共享有关安全论证的信息。
Zhao 说:“很多人低估了这些边缘情况的解决难度。我们担心的不是演示中、真空环境里的那个机器人。我们担心的是大规模部署、由可能从未操作过机器人的人来使用的那些机器人。”
Gritt Robotics (https://techcrunch.com/2026/07/21/gritt-exits-stealth-with-34-million-for-robots-to-build-solar-plants-then-everything-else/) 的 CTO Vishal Dugar 正在为机器人开发 AI 大脑,这些机器人目前帮助工人在工业级太阳能电站安装光伏组件,未来还计划承担更复杂的建筑任务。该公司正与 Safeworld 合作,开发其安全仿真方案。
Dugar 说:“我们大多数系统的难点在于,很难通过做一些数学运算、写一些公式就能正式证明,说这个系统已被验证是安全的。它必须通过实证方法来完成。”
他的机器人与人类工人协同工作,确保机械臂不会撞到他们显然是首要考虑。要在实践中验证这一点,需要考虑各种潜在的场景。
Dugar 指出:“人类有各种各样的外表。他们的身体姿态各不相同。他们可能跪着、站着。他们可能会绊倒摔跤。他们可能蹲着。他们可能在跑。你需要对工地上人类可能表现出的所有这些行为做出反应,还要考虑到人类外观的各种差异——衣服、体型、形状、身高、肤色等等。”
Safeworld 和机器人领域的生成式 AI 都还处于早期阶段,公司仍在摸索其产品的最佳模式——是面向外部用户的平台,还是基于服务的模式?——但团队确信他们正在解决正确的问题。
Zhao 说:“我们很可能会成为这个领域第一家盈利的公司。因为如果有人想要部署机器人,他们就需要付钱给我们来处理安全问题。”
*通过我们文章中的链接购买,我们可能会获得少量佣金 (https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。*
相似文章
AI安全警告是否正当?还是大型AI公司在构建监管壁垒?
这篇文章探讨了来自OpenAI和Anthropic等大公司的AI安全警告是否正当,还是用于为竞争对手创建监管壁垒,以及如何区分负责任的治理和监管俘获。
Shield AI、Waabi与通用汽车在TechCrunch Disrupt 2026上探讨当失败不容有失时如何构建AI
TechCrunch Disrupt 2026 将举办一场小组讨论,邀请Shield AI、Waabi和通用汽车的领导者探讨为关键应用构建AI系统,其中失败会带来严重的现实世界后果,强调安全性、验证和信任。
迈向前沿AI训练的安全案例
OpenAI概述了前沿AI训练的安全案例,提出技术保障措施,包括对齐、遏制和监控,以确保安全发展。
为更安全的自主工业 AI 铺平道路
MIT Technology Review 的 Business Lab 探讨基础模型、物理 AI 和智能体 AI 的进步如何重塑工业自动化。AVEVA 首席技术专家 Arti Garg 分享了关于负责任部署、人类监督,以及 IEEE 用于衡量 AI 环境足迹的方法论。
投资多智能体AI安全研究
Google DeepMind 与 Schmidt Sciences、Cooperative AI Foundation、ARIA 和 Google.org 共同宣布,为多智能体AI安全研究提供高达1000万美元的资金,用于研究交互AI智能体的涌现行为与风险。