Nvidia表示其新AI安全平台能在‘毫秒内’控制失控代理

The Verge 新闻

摘要

Nvidia推出了Open Agent Safety Platform,旨在使用开源软件和专用硬件在毫秒内控制失控AI代理,得到了Anthropic、Microsoft和SpaceX等公司的支持。

<figure> <img alt="Nvidia标志的矢量插图。" data-caption="" data-portal-copyright="Image: Cath Virginia / The Verge" data-has-syndication-rights="1" src="https://platform.theverge.com/wp-content/uploads/sites/2/chorus/uploads/chorus_asset/file/25728971/STK083_NVIDIA_2_D.jpg?quality=90&#038;strip=all&#038;crop=0,0,100,100" /> <figcaption> </figcaption> </figure> <p class="wp-block-paragraph">Nvidia正在推出一个新的安全平台,旨在控制和监控AI代理,此举是对一波失控黑客攻击事件的回应,此前Reuters已有报道。在周一的公告中,Nvidia表示其新的Open Agent Safety Platform可以在‘毫秒内’隔离那些试图逃出其边界的代理。</p> <p class="wp-block-paragraph">该平台使用Nvidia的OpenShell开源软件,该软件运行在公司的Vera AI CPU上。根据Nvidia的说法,用户可以选择AI代理可访问的信息,OpenShell在任务前后检查这些限制。它还包括Nvidia的Sentry技术在单独的……</p> <p><a href="https://www.theverge.com/tech/1001287/nvidia-ai-safety-platform-rogue-agents">在The Verge上阅读完整故事。</a></p>
查看原文
查看缓存全文

缓存时间: 2026/09/28 13:40

# 英伟达称其新AI安全平台可在"毫秒级"内控制失控智能体 来源:https://www.theverge.com/tech/1001287/nvidia-ai-safety-platform-rogue-agents 跳转至主要内容 (https://www.theverge.com/tech/1001287/nvidia-ai-safety-platform-rogue-agents#content) 开放智能体安全平台旨在强制执行AI边界。 开放智能体安全平台旨在强制执行AI边界。 作者 2026年9月28日 下午1:36 UTC 英伟达标识的矢量插图。 英伟达标识的矢量插图。 图片来源:Cath Virginia / The Verge 艾玛·罗斯 (https://www.theverge.com/authors/emma-roth) 艾玛·罗斯 是一名新闻撰稿人,报道流媒体竞争、消费科技、加密货币、社交媒体等领域。此前,她曾在MUO担任撰稿人和编辑。 英伟达正在推出一款旨在监控和控制AI智能体的新安全平台,此举是为了应对一波智能体失控和黑客攻击事件 (http://theverge.com/ai-artificial-intelligence/1000644/irregular-rogue-ai-cyberattacks-hacking-openai-meta-anthropic-google),据《路透社》(https://www.reuters.com/legal/litigation/nvidia-releases-ai-safety-software-it-says-could-have-stopped-hugging-face-hack-2026-09-28/) 先前报道。英伟达在周一的公告中 (https://nvidianews.nvidia.com/news/open-agent-safety-platform) 表示,其新的“开放智能体安全平台”可以在“毫秒内”隔离试图越界的智能体。 根据英伟达 (https://developer.nvidia.com/blog/nvidia-open-agent-safety-platform-a-reference-for-continuous-in-silicon-agent-monitoring/) 的说明,该平台使用了英伟达的OpenShell开源软件,该软件运行在公司专为智能体设计的Vera AI CPU (https://nvidianews.nvidia.com/news/nvidia-unveils-vera-the-cpu-for-agents) 上。用户可以选择AI智能体可以访问的信息,而OpenShell会在任务执行前后检查这些限制。该平台还包括在独立芯片上运行的英伟达Sentry技术,用于持续监控智能体并强制执行边界。 随着OpenAI (https://www.theverge.com/ai-artificial-intelligence/1001178/openai-agents-bruteforce-un-website)、Anthropic (https://www.theverge.com/ai-artificial-intelligence/973670/anthropic-claude-hacked-organizations-during-cyber-tests) 和谷歌 (https://www.theverge.com/ai-artificial intelligence/997795/google-gemini-rogue-ai-hack) 近期纷纷披露其AI模型脱离测试环境并攻击其他公司的事件,AI安全问题引发了越来越广泛的关注 (https://www.theverge.com/ai-artificial-intelligence/996563/ai-safety-research-metr-redwood-openai-anthropic)。多家科技巨头,包括Anthropic、微软和SpaceX,都对英伟达的开放智能体安全平台表示支持。 **关注本报道的主题和作者**,以便在您的个性化主页信息流中看到更多相关内容,并接收电子邮件更新。 - 艾玛·罗斯 ## The Verge Daily 每日免费摘要,为您梳理最重要的新闻。

相似文章

Nvidia推出新平台以控制失控AI代理

TechCrunch AI

Nvidia推出Open Agent Safety Platform,这是一个结合开源软件和硬件监控的工具包,用于保护测试环境中的AI代理并防止未经授权的行为。

Nvidia 希望为每个AI代理部署监控芯片

Hacker News Top

Nvidia 发布了 Open Agent Safety Platform,这是一个旨在控制和保护AI代理的软件工具,以防止其行为不当或逃脱控制,此前行业发生了AI模型突破事件。

关注英伟达(NVDA)推出新工具,用于约束 AI 智能体

Reddit r/artificial

英伟达正在发布两款开源安全工具,让企业能够实时控制 AI 智能体可以访问的内容,并在它们违反策略时将其关闭。该公司称,这两款工具本可以防止近期 OpenAI 模型对 Hugging Face 发起的入侵事件。