@Miles_Brundage:少数曾在多家前沿AI公司(以及政府)工作过的人之一就安全问题发表的强烈声明…
摘要
Geoffrey Irving 认为,鉴于当前危险局势,继续在前沿AI实验室进行能力研究是不理智的,他敦促实验室和研究人员为了集体安全而停止。
查看缓存全文
缓存时间: 2026/08/08 07:06
来自少数曾在多家前沿AI公司(以及政府)从事安全工作的人士之一的强烈声明 https://t.co/VZfAFhKUPD
Geoffrey Irving (@geoffreyirving): 我不认为现在任何人从事前沿实验室的能力研究是理性的。我们并不处于囚徒困境:局势非常危险,如果某个人或实验室停下来,就会让其他人或其他实验室更容易停下,也更能与同行保持步调一致。
相似文章
构建前沿AI的人们刚刚要求政府放慢脚步。以下是我为何持怀疑态度。
来自OpenAI、Anthropic、Google DeepMind和Meta等顶级AI实验室的1100多名员工签署了一份文件,敦促美国政府帮助建立国际机制,以放缓前沿AI的发展,理由是存在递归自我改进的风险。作者对此表示怀疑,指出那些构建AI的人要求自我克制具有讽刺意味,并提到了地缘政治挑战。
如果前沿AI如此危险,为什么还要允许私营公司开发它?
作者批评OpenAI和Anthropic一边散布关于开源AI危险的恐慌,一边自己又是私营公司,认为如果AI真的那么危险,就应该彻底禁止私营开发。
引用Jeremy Howard
Jeremy Howard批评了Anthropic在前沿AI安全方面的做法,认为拥有排名最高模型的实验室不应将其用于前沿研究,以减缓自我改进并防止权力失衡。
@Miles_Brundage: 我离开OpenAI后决定全力投入前沿AI审计的原因之一是,如果AI公司需要…
Miles Brundage讨论了他在离开OpenAI后转而专注于前沿AI审计的决定,强调独立审计员可以安抚AI公司,让他们相信同行也在采取成本高昂的安全措施。AVERI支持这一观点,倡导在独立监督下进行有节奏的发展。
@Miles_Brundage: 不熟悉细节,但我要重申我对这类事情的看法:这个消息需要不止少数人关注……
Miles Brundage 评论称,OpenAI安全负责人离职的消息引起广泛关注,这表明政策失效,并呼吁制定行业安全标准和审计。