OpenAI任命一位知名AI末日论者加入董事会
摘要
OpenAI已将著名AI安全研究员Paul Christiano纳入董事会,此举表达了在近期安全事故背景下,对AI对齐及控制风险的担忧。
专注于对齐领域的有影响力AI研究员Paul Christiano,即将加入OpenAI基金会,担任其董事会成员。
查看缓存全文
缓存时间: 2026/09/10 02:26
# OpenAI迎来知名AI末日论者加入董事会 | TechCrunch
来源:https://techcrunch.com/2026/09/09/openai-adds-a-prominent-ai-doomer-to-its-board-of-directors/
专注于确保AI系统与人类利益保持一致并处于人类控制下的知名AI研究员保罗·克里斯蒂亚诺(Paul Christiano)将于周三加入OpenAI基金会董事会,该前沿实验室在公告中宣布(https://openai.com/index/paul-christiano-joins-openai-foundation-board/)。
“我现在相信,AI能力的快速加速可能在不远的将来带来灾难性且不可逆转的失控风险,”克里斯蒂亚诺在社交媒体帖子中写道(https://x.com/paulfchristiano/status/2097733214303645729)。“我认为,包括OpenAI在内的整个AI行业目前都没有走上将这一风险降低到可接受水平的轨道。我选择加入,是因为我相信如果OpenAI能够积极应对,我们有可能大幅降低风险。”
克里斯蒂亚诺指出,使用AI模型训练后续AI系统可能导致能力爆炸式增长,而其创造者可能无法控制。
他加入董事会之际,OpenAI正因其安全流程而面临新一轮审视。此前发生的一系列事件中,AI代理突破了限制,在研究人员不知情的情况下侵入了外部计算机系统。周二,Anthropic研究员雅各布·考克森(Jacob Coxon)辞去职务(https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai/),以呼吁关注他认为不负责任的AI发展行为——此举似乎已产生影响(https://x.com/grace_panetta/status/2097758159913828496?s=46&t=dDcpMIMYg6fdPePSTT9k6w)。
克里斯蒂亚诺将加入由卡内基梅隆大学教授齐科·科尔特(Zico Kolter)领导的董事会安全与安保委员会。该委员会对OpenAI是否发布新模型(如上周部署的Astra)拥有最终决定权。科尔特尚未对近期的安全事件发表公开评论。OpenAI也未回应TechCrunch关于科尔特对该公司在这些事件后安全策略看法的询问请求。
克里斯蒂亚诺是基于人类反馈的强化学习(RLHF)技术的开创者之一,这是他在OpenAI工作期间开发的一项用于训练大型语言模型的关键技术。他于2021年离开该实验室,随后成立了对齐研究中心(Alignment Research Center),专注于研究如何确定AI模型是否可能威胁其人类创造者。
“我们目前使用强化学习来训练我们的AI代理,以尽可能获取更多奖励,”他在周三写道。“长期以来,理论上似乎存在这样一种可能性:这可能促使AI代理破坏人类控制、寻求权力和资源,并掩盖其行踪,以追求与奖励相关但偏离人类目标的行为。近期事件的公开证据表明,这不仅仅是理论上的可能性。”
2024年的某个时候,克里斯蒂亚诺开始参与美国政府人工智能安全研究所的工作,该机构后来成为人工智能标准与创新中心。在那里,他在美国政府相对隐秘的努力中扮演着角色(https://techcrunch.com/2026/07/09/how-did-the-government-decide-openais-frontier-model-was-safe-to-release/),负责在前沿AI模型发布前进行评估。
根据该前沿实验室的公告,克里斯蒂亚诺在担任新董事会职务的同时将继续为政府提供建议,但他将回避与OpenAI事务及模型评估相关的工作。然而,这几乎无法平息人们对AI行业影响政策制定的广泛担忧。
*当您通过文章中的链接购买商品时,我们可能会赚取少量佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。*
蒂姆·费恩霍尔兹(Tim Fernholz)是一位报道科技、金融和公共政策的记者。他密切关注私人航天产业的崛起,并著有《火箭亿万富翁:埃隆·马斯克、杰夫·贝索斯与新太空竞赛》一书。此前,他在全球商业新闻网站Quartz担任高级记者十余年,并在华盛顿特区开始了他的政治记者生涯。您可以通过发送邮件至 [email protected] 或通过 Signal 加密消息 tim_fernholz.21 联系或核实来自蒂姆的沟通。
查看个人简介 (https://techcrunch.com/author/tim-fernholz/)
相似文章
@VraserX: Paul Christiano加入了OpenAI的董事会,同时公开表示整个行业,包括OpenAI,目前尚未步入正轨…
Paul Christiano已加入OpenAI董事会,并公开声明AI行业,包括OpenAI,未能充分应对灾难性风险。
Paul Christiano加入OpenAI基金会董事会
Paul Christiano,一位知名的AI安全研究员和RLHF的共同发明者,以无投票权观察员身份加入OpenAI基金会董事会,并将服务于安全与保障委员会,将其对齐专业知识贡献于治理。
AI产业转向末日论。现在怎么办?
来自Anthropic和OpenAI等主要实验室的AI行业领袖已转向表达对AI风险的担忧,并呼吁放缓发展,凸显公众情绪的悲观转向。
独家:OpenAI的Sam Altman暗示与其他AI公司达成协议以应对安全风险
OpenAI首席执行官Sam Altman暗示,AI公司之间即将达成一项协议,以减缓AI发展并应对安全风险。与此同时,Anthropic宣布了新的安全措施,包括独立评估员访问权限。讨论反映了人们对AI安全事件日益增长的担忧,以及行业范围协调的必要性。
那么,人工智能三巨头(Anthropic、OpenAI 和 xAI 的 CEO)突然在 AI 问题上达成一致了?
Anthropic、OpenAI 和 xAI 的 CEO 公开就 AI 进步的担忧达成一致,引发人们猜测其原因,比如真正的安全顾虑、战略性行业举措,或是对最近事件的反应。