extinction-risk

Anthropic的IPO提案中包含了现任及前任员工的警告，称AI可能在十年内导致人类灭绝，同时详细说明了公司的财务表现，即巨额亏损但收入快速增长。

文章突出了行业人士对AI风险的分歧观点，其中像Hugging Face的CEO和Nvidia的Jensen Huang这样的领导者驳斥了末日情景，并强调安全担忧是可控的。

佛罗里达州已提交法律动议以叫停OpenAI的前沿AI开发，引用灭绝级风险和公共安全担忧，突显了AI系统面临的法律和政策审查日益增加。

MIT Technology Review探讨了AI的灭绝风险和AI赋能生物武器的威胁，包括现场活动的问答环节以及关于生物科技安全的讨论。

这场辩论聚焦于AI灭绝风险的讨论，专家们对风险概率、定义以及当前危害与未来风险的优先级存在根本分歧。

一篇文章质疑AI将在10年内导致人类灭绝的说法，引用Anthropic员工的专家警告和关于AI当前益处的个人轶事。

Gary Marcus 反驳了 Jacob Coxon 关于人工智能灭绝风险的夸张说法，引用了他的文章，并在承认人工智能界内人士合理关切的同时，为这场讨论辩护。

本文提出了一个受德雷克方程启发的框架，将人工智能灭绝风险分解为条件概率，从而使得对各种结果的讨论和估算更加精确。

OpenAI和Anthropic的研究人员正增加对AI灭绝风险的警告，并因对递归自我改进和潜在灾难性后果的担忧，呼吁放缓发展步伐。

这篇文章批评 Jacob Coxon 关于 AI 灭绝的说法不现实，将其比作科幻同人小说，并指出这是媒体对末日神话的炒作。

MIT Technology Review 主持一场现场圆桌讨论，邀请 AI 专家辩论先进 AI 是否对人类构成真正威胁，以及可能需要采取哪些行动。

该推文认为，不存在AI导致人类灭绝的合理完全自主情景，并批评了对科幻式风险的强调，倡导对AI安全进行更严肃的研究。

Anthropic研究员Jacob Coxon因担心人工智能灭绝风险而辞职，呼吁实验室之间达成节奏协议以降低风险。