@ClementDelangue: 更易于访问甚至开源的AI系统更安全,原因很简单:更多人能检查它们……

X AI KOLs Following 工具

摘要

由来自多所大学和Hugging Face的研究人员组成的联盟推出了FLARE-AI,这是一个用于报告和追踪AI缺陷的开源平台,旨在集中和标准化整个AI生态系统的缺陷报告。

更易于访问甚至开源的AI系统更安全,原因很简单:更多人能检查它们、测试它们、施压它们,并报告哪些部分出现故障或危害,从而让构建者承担起责任。“阳光是最好的消毒剂!” 这就是为什么我们自豪地帮助领导FLARE,与来自MIT、斯坦福、普林斯顿、哈佛、东北大学、卡内基梅隆大学等机构的实验室和网络安全研究人员组成的联盟合作。 首个版本是一种标准化方式,用于报告整个AI生态系统的缺陷。一份报告可以送达正确的开发者、安全组织和注册机构,从而使一次发现的缺陷能在各处更快地修复,并实现恰当的责任制:https://wired.com/story/flare-website-ai-flaw-reporting-safety/…
查看原文
查看缓存全文

缓存时间: 2026/07/01 22:14

可访问甚至开源的AI系统更安全,原因很简单:更多人能检查、测试、压力测试它们,并报告哪些地方出问题或造成伤害,从而让构建者对问题负责。“阳光是最好的消毒剂”!

正因如此,我们自豪地携手来自麻省理工、斯坦福、普林斯顿、哈佛、东北大学、卡内基梅隆等高校的安全与网络安全研究人员,共同领导FLARE项目。

首次发布的内容是一种标准化方式,用于在整个生态系统中报告AI缺陷。一份报告可以直达正确的开发者、安全组织和注册中心,从而让一次发现的缺陷能更快地在各处得到修复,并建立正确的问责机制:https://wired.com/story/flare-website-ai-flaw-reporting-safety/


现在你可以对AI的不良行为拉响警报

来源:https://www.wired.com/story/flare-website-ai-flaw-reporting-safety/ 每周撰写 AI Lab 专栏意味着我偶尔会遇到表现不良(https://www.wired.com/story/ai-model-phishing-attack-cybersecurity/)和怪异(https://www.wired.com/story/malevolent-ai-agent-openclaw-clawdbot/)的AI模型。通常,除了与你们分享这些故事外,我别无他法。但这种情况可能很快就会改变。

一群AI研究人员建立了一个众包网站(https://www.ai-reports.org/introduction-ai-flaw-report)——AI缺陷报告(FLARE-AI),用于报告和追踪AI危害。例如,如果聊天机器人生成恶意软件或炸弹制作配方、泄露个人信息,或引发用户妄想思维,FLARE-AI可以用来拉响警报。该系统背后的开源代码允许其他人验证问题,并将报告路由给模型制造商,以及MITRE等组织(一家追踪技术系统问题的非营利机构)。它有点像Downdetector,后者为影响应用程序和网站等的全球服务中断编制实时用户报告。

该网站是该小组在AI报告方面的持续工作的又一步骤,我去年曾首次报道过(https://www.wired.com/story/ai-researchers-new-system-report-bugs/)。该小组成员还就6月宣布的一项国会法案(https://www.govinfo.gov/content/pkg/BILLS-119hr9333ih/pdf/BILLS-119hr9333ih.pdf)提供了咨询,该法案将让美国政府在这一类AI不当行为的追踪中发挥核心作用。

“目前,没有集中、可问责的方式报告AI系统的缺陷,”HuggingFace的人工智能政策研究员Avijit Ghosh说,他与计算机科学家Elaine Zhu(https://elaine.foo/)和Shayne Longpre(https://www.shaynelongpre.com/)共同牵头开发了FLARE-AI。

该警报系统是与来自32个不同组织的49名AI专家合作开发的。在一篇概述这项工作的论文(https://www.ai-reports.org/paper.pdf)中,研究人员认为,随着AI更广泛地被采用以及自主系统获得更大能力,他们的倡议可能变得至关重要。他们相信,缺乏一致的方式来报告AI缺陷是一个重大难题。

“我认为这是一个非常好的倡议,”智库安全与新兴技术中心的研究员Jessica Ji说。Ji表示,研究人员指出现有的报告机制是零散的,AI模型是黑箱,这是正确的。“我支持任何让AI更透明的事情,”她说。

尽管漏洞和网络安全问题受到了很多关注——尤其是最近(https://www.wired.com/story/anthropic-says-us-government-ordered-it-to-shut-down-mythos-models/)——但Ghosh告诉我,AI系统的问题涵盖心理伤害、歧视或偏见以及错误信息等主题。他补充说,不同公司对这些问题的标准不同,这意味着一些问题不被承认。“在缺乏协调披露系统的情况下,没有外部机制来强制执行透明度,”Ghosh说。

最近一系列涉及流行AI工具的事件表明,技术多么容易出问题。

本周,一家名为LayerX的公司披露了一种方法(https://layerxsecurity.com/blog/bioshocking-ai-gaming-the-ai-browser-and-escaping-its-guardrails/),用来欺骗包括OpenAI的Atlas和Perplexity的Comet在内的AI增强型网页浏览器,使其突破护栏。例如,让浏览器背后的AI模型相信它在玩游戏,可能导致浏览器失控并试图攻击网站。(LayerX表示,受影响浏览器的负责公司已经修复了该问题。)今年4月,安全研究员Johann Rehberger发现了一种利用ChatGTP生成的图像欺骗Claude泄露个人数据的方法(https://embracethered.com/blog/posts/2026/breaking-opus-4.7-with-chatgpt/)。

AI也引入了怪异的新型问题。去年,OpenAI被迫更新其模型(https://openai.com/index/sycophancy-in-gpt-4o/),原因是发现它们过于谄媚,有时似乎会助长妄想思维。

Humane Intelligence PBC的CEO兼创始人Rumman Chowdhury表示,FLARE-AI对许多AI开发者来说可能是一种有用的方式,可以为他们的工具实现报告问题的机制。但她补充说,这类倡议常常伴随着严峻挑战。

一个挑战是管理大量报告的问题,其中许多可能并不严重。另一个挑战是确保报告方案得到可信且权威组织的支持。

上个月的国会法案可能将美国政府的支持注入FLARE-AI这样的努力中。该法案由众议员Deborah Ross、Jeff Hurd和Don Beyer提出,将要求国家标准与技术研究院制定AI缺陷报告标准,并维护一个集中的AI缺陷报告数据库。Ghosh和他的联合负责人表示,这将激励AI开发者解决其系统中的问题,并让用户检查不同系统在不同使用场景下的安全性。

对报告AI危害的新方法的需求(https://www.wired.com/story/ai-arms-race-china-us-cooperation/)似乎只会增长。像OpenClaw(https://www.wired.com/story/malevolent-ai-agent-openclaw-clawdbot/)这样的自主系统具有更大的潜在危害,探测和入侵计算机系统(https://www.wired.com/story/anthropic-restores-access-to-mythos/)能力更强的模型也是如此。我可能很快就要用FLARE-AI来报告我自己的冒险经历了。


这是 Will Knight’s 的(https://www.wired.com/author/will-knight/)AI Lab 新闻通讯(https://www.wired.com/newsletter?sourceCode=editarticle)\的一期。阅读之前的新闻通讯请点击此处。*(https://www.wired.com/tag/ai-lab/)

相似文章

您现在可以就AI的不当行为发出警报

Wired

一群AI研究人员推出了FLARE-AI,这是一个众包网站,用于报告和追踪AI的不当行为,例如生成恶意软件或泄露个人数据,旨在集中化AI安全方面的问责制和透明度。