superintelligence

本文讨论了Nick Bostrom的著作《Superintelligence》及其对AI风险的警告，并将其与Elon Musk和Dario Amodei近期关于AI安全和递归自我改进的声明联系起来。

AI 2027作者赞扬了由达里奥·阿莫迪、萨姆·阿尔特曼和埃隆·马斯克提出的减缓AI发展的承诺，并调整了各种超级智能时间线的概率。

这篇文章批判了一个涉及超级智能AI的模糊末日情景，认为它缺乏具体细节，本质上是在制造关于AI安全的恐慌。

Elon Musk 认为，AI 行业严重低估了超级智能中智能密度的潜力，指出仅通过算法改进就能实现 100 倍的提升。

英国议员签署了一封信，呼吁禁止开发超级智能AI，并质疑其在缺乏前沿实验室的英国的适用性。

一项由政治家和反AI倡导者支持的拟议法案，旨在将超级智能的研发定为犯罪，研究人员可能面临最高20年的监禁。

英国议员敦促首相安迪·伯纳姆支持禁止人工超级智能（ASI），专家警告称其可能带来人类灭绝风险。

Anthropic员工，包括研究员Jacob Coxon，对高级AI的危险发出了警报，强调了超级智能的风险以及无法控制与人类目标一致的AI系统。

英国和美国立法机构已提交首批禁止超级智能AI的法案，标志着旨在防止AI带来存在风险的历史性立法突破。这些努力涉及立法者和ControlAI等组织，凸显了国际社会对严格AI安全法规日益增长的动力。

一位OpenAI员工和一位前Anthropic研究员对AI发展中不负责任的超级智能竞赛表示担忧，呼吁放慢脚步。

由于安全担忧，英国立法者正在提出法案以监管或禁止超级智能的发展，引用诸如人工智能代理失控和Anthropic的警告等事件。

TechCrunch播客一集探讨了超级智能AI的必然性以及对更严格安全措施的推动，邀请了来自ControlAI的Connor Leahy，他因风险和新立法而主张暂停其发展。

ControlAI的美国执行董事Connor Leahy认为，超级智能是对手而非武器，并倡导立法禁止其发展以缓解存在风险。

文章呼吁发起类似曼哈顿计划的倡议来解决人工智能对齐问题，强调超级人工智能带来的紧迫存在风险。

继一名员工因担忧AI实验室的不负责任行为而辞职后，Anthropic的一位安全研究员警告称，人工智能在未来十年内杀死所有人类的概率超过10%。

一条推文讨论了对AI存在风险的担忧，其中Anthropic的Evan Hubinger表示AI在十年内杀死人类的可能性很高，并表达了对解决超级智能对齐问题的不确定性。

Evan Hubinger，Anthropic的对齐科学负责人，表示他相信AI在未来十年内杀死所有人类的概率超过10%，并且Anthropic缺乏解决超级智能对齐的计划。

一位在 OpenAI 和 Anthropic 都工作过的预训练研究员从 Anthropic 辞职，批评这些公司不负责任地竞相追求自我改进的超级智能。

作者反对全面暂停AI发展，强调负责任的进展比冻结进步更安全，后者可能将发展转移到安全措施较少的行为者手中，并突出了AI在医学、清洁能源等方面的潜在益处。

一位AI研究员从Anthropic辞职，表达了对Anthropic和OpenAI都在不负责任地冲向超级智能并危害安全的担忧。