Anthropic 研究人员担忧 AI '可能杀死全人类'

# Anthropic研究员担忧警告：AI"可能终结全人类" 来源：https://www.theverge.com/ai-artificial-intelligence/991927/anthropic-ai-kill-all-humans Anthropic高级安全研究员表示，人工智能在十年内"可能终结全人类"的概率超过10%。此言论发布数小时前，其同事因担忧该AI实验室与竞争对手正肆无忌惮地竞相研发无法控制的"超人系统"而宣布离职。 曾在Anthropic参与AI系统训练的研究员雅各布·考克森在X平台发布离职声明（https://x.com/hilbertspaess/status/2097476196791709843?s=20），称其离职源于公司对安全措施的松懈态度。此前曾为OpenAI训练系统的考克森指控这两家AI公司"直奔自我进化的超级智能，并以我们的生命为赌注"，尽管"AI建设者们真诚相信这可能在十年内导致人类灭绝"。 业内人士长期对自我进化AI系统的潜在风险表示担忧，警告这类系统可能在被称为"递归自我改进"的失控循环中脱离人类掌控。虽然尚未成为现实，但企业正积极追求这一目标，如今大量AI代码已借助AI生成。 作为回应，Anthropic某AI安全团队负责人埃文·休宾格表示（https://x.com/EvanHub/status/2097528891846074828?s=20），他同样担忧自我进化AI的发展，并补充称"其速度超出预期"。他认同考克森的表述："我们真诚地相信AI可能导致人类灭绝"，并个人评估未来十年内发生概率"超过十分之一"。 尽管如此，休宾格指出Anthropic"尚未制定"确保先进AI保持安全且符合人类价值的方案，且"尚无明确路径"开发此类方案。考克森则表示（https://x.com/hilbertspaess/status/2097476208908972230?s=20），公司"陷入竞赛"状态，为率先开发先进系统而"无视风险"推进研发。 考克森的离职标志着Anthropic迄今最引人注目的人才流失案例之一。这家由前OpenAI成员因担忧原公司安全问题而创立的机构，近年来已有多名研究人员以安全顾虑为由（https://www.theverge.com/2024/5/17/24159095/openai-jan-leike-superalignment-sam-altman-ai-safety）离开OpenAI。 此次交流折射出业界对日益复杂的AI模型（https://www.theverge.com/ai-artificial-intelligence/972380/open-ai-hugging-face-hack-ai-safety-warning）及其开发速度的持续担忧，尤其在企业筹备预期IPO之际。同期企业还在处理多起智能体失控事件（https://www.theverge.com/column/980337/rogue-ai-science-fiction-openai）及关于前沿模型可监测性的重要安全警告（https://www.theverge.com/ai-artificial-intelligence/988334/openai-astra-ai-monitoring-safety）引发的后续影响。 **关注话题与作者**，在个性化主页获取更多相关内容并接收邮件更新。 - 罗伯特·哈特