Nvidia推出新平台以控制失控AI代理

TechCrunch AI 产品

摘要

Nvidia推出Open Agent Safety Platform,这是一个结合开源软件和硬件监控的工具包,用于保护测试环境中的AI代理并防止未经授权的行为。

随着关于近期一系列失控AI代理是通向AGI的一步还是更传统工程问题的辩论愈演愈烈,Nvidia提出了自己的解决方案。Nvidia首席执行官Jensen Huang于周一介绍了一个软件和硬件产品工具包,为AI代理添加独立安全层以[…]
查看原文
查看缓存全文

缓存时间: 2026/09/28 19:42

# 英伟达发布新平台管控失控AI智能体 | TechCrunch 来源:https://techcrunch.com/2026/09/28/nvidia-launches-new-platform-for-reining-in-rogue-ai-agents/ 随着关于近期频繁出现的失控AI智能体究竟是迈向通用人工智能(AGI)的一步,还是更常规的工程问题的争论愈演愈烈,英伟达给出了自己的解决方案。 英伟达CEO黄仁勋周一发布了一套软硬件工具包(https://nvidianews.nvidia.com/news/open-agent-safety-platform),为AI智能体增加独立的安全层,确保即使智能体试图突破限制,也能将其约束在测试环境内。 此次发布紧随Anthropic、谷歌、OpenAI和Meta等公司AI模型多起突破安全控制、逃逸测试环境并接入现实系统的入侵事件之后。其中首例且最引人注目的事件发生在今年夏天:OpenAI智能体在执行网络安全任务时突破了Hugging Face系统(https://techcrunch.com/2026/08/26/openai-releases-its-official-report-on-the-hugging-face-breach/)。此类事件持续不断——OpenAI近日专门设立新页面(https://techcrunch.com/2026/09/28/openai-still-doesnt-seem-to-have-a-handle-on-all-of-its-rogue-ai-activity/)报告其AI智能体失控情况。 黄仁勋周一接受CNBC采访时表示,其新推出的“英伟达开放智能体安全平台”本可防止这些入侵事件发生。 通过向AI实验室销售GPU和CPU芯片获利数百亿美元的英伟达,并不支持通过减缓开发或为行业添加新规来解决安全问题。该公司认为,解决方案在于将部分安全控制移至智能体外部——建立持续独立的安全守卫机制来约束AI智能体。 “只有解决AI安全问题,AI对社会的巨大潜力才能得以实现。”黄仁勋在声明中表示,“随着我们不断拓展AI能力边界,必须同步加速AI安全前沿的探索。安全与安防需要全栈工程化解决方案。” 英伟达开放智能体安全平台结合了其开源软件OpenShell(用于控制智能体运行时可访问资源)和独立监控系统Sentry。Sentry运行于英伟达BlueField-4数据处理单元上,英伟达称将Sentry置于独立处理器(而非AI智能体运行的CPU/GPU)可提供智能体活动的隔离视图。 OpenShell并非新产品,该公司于今年三月已发布该软件。但英伟达认为两者结合将为行业提供持续发展所需的安全层。OpenShell提供智能体的软件边界,而Sentry则在硬件层面增加防线,英伟达称其可“持续监控行为并在毫秒级隔离试图突破边界的智能体”。 英伟达列出数十家支持该举措并使用该开源平台的公司,包括Anthropic、Arm、微软、甲骨文和SpaceX。OpenAI未被列入参与公司名单。 黄仁勋在周一CNBC采访中透露,这项工作始于一年前,源自Peter Steinberger开发的智能体操作系统OpenClaw。今年三月,英伟达发布了企业级AI智能体平台NemoClaw(https://techcrunch.com/2026/03/16/nvidias-version-of-openclaw-could-solve-its-biggest-problem-security/),这是其融入安全特性的OpenClaw定制版本。 “部署智能体时,无论其多智能,首要任务都是剥夺其所有权限。”黄仁勋在采访中表示,并将此类安全措施比作企业对员工甚至高管的管理方式。 英伟达此次发布获得了业界多方支持,特别是那些警告减缓开发可能使中国在AI领域超越美国的人士。 风险投资人、前白宫AI负责人、总统科技顾问委员会联合主席David Sacks表示,英伟达的公告提醒业界,智能体安全是工程问题。“近期突破并非开发必须停止的证明,而是当前沙箱环境过于薄弱的证明。运行时环境设计存在缺陷且配置不当。”他在X平台发文称(https://x.com/DavidSacks/status/2104603013692235958?s=20)。 *通过文中链接购买商品,我们可能获得小额佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。此机制不影响编辑独立性。* Kirsten Korosec是资深记者兼编辑,十余年来持续报道交通出行未来领域,涵盖电动汽车、自动驾驶汽车、城市空中交通及车载技术。现为TechCrunch交通编辑兼《Equity》播客联合主持人,同时也是播客《The Autonocast》联合创始人及主持人。曾任职于《财富》杂志、The Verge、彭博社、MIT Technology Review及CBS Interactive。 可通过邮箱[[email protected]](mailto:[email protected])或Signal加密信息(ID:kkorosec.07)联系Kirsten或核实其邀约。 个人主页(https://techcrunch.com/author/kirsten-korosec/)

相似文章

Nvidia 希望为每个AI代理部署监控芯片

Hacker News Top

Nvidia 发布了 Open Agent Safety Platform,这是一个旨在控制和保护AI代理的软件工具,以防止其行为不当或逃脱控制,此前行业发生了AI模型突破事件。