标签
美国证券交易委员会（SEC）发布了2027财年检查优先事项，将先进AI（包括“超级智能”）以及代币化证券列为重点监管对象，涵盖市场基础设施、网络安全和投资者保护等风险领域。
作者对核发射系统是否存在完全脱离电子的物理手动操作要求表达了焦虑，认为空气隔离或安全网络不足以抵御黑客和AI相关的威胁。
英国情报机构负责人警告，面对比人类更聪明、能超越我们思考的对手，是人类历史上的全新挑战，并呼吁严肃对待人工智能带来的国家安全风险。
一位 OpenAI 安全研究员警告称，自 RLHF 以来，在对齐研究尚未取得根本性进展的情况下追求递归式自我改进，是前所未有的愚行，凸显了 AI 能力与安全研究之间的差距。
一篇主张人工智能快速腾飞的个人随笔，认为对于那些经济拮据的人来说，维持现状并不是安全的基准，而放慢人工智能的发展也会付出相应的人道代价。作者权衡了未能与人类目标对齐的人工超级智能（ASI）所带来的风险，以及全民基本收入和医学进步的前景。
密码学研究员 Matthew Green 警告称，AI 引发的意外事件虽概率不大但绝非微不足道，有可能动摇人们对公钥加密的信心。他认为，若不提前做好准备，标准的更换速度将无法跟上。
曾任职于 Anthropic 和 OpenAI 的 Jacob Coxon 结合他在顶尖 AI 实验室的内部经验，解释了他为何认为 AI 如此危险。
OpenAI 透明度负责人 David Robinson 已辞职，并向 The Atlantic 表示，公司需要"核弹级"的安全措施。他认为，随着 AI 能力不断增强，公司那种靠试错发布产品的文化，未能提供所需的谨慎与保障。
Anthropic的IPO招股说明书揭示了重大财务亏损和增长，同时伴有前所未有的警告，称其AI技术可能对人类构成存在性风险。
这份图文指南概述了人工智能可能对人类构成存在威胁的九种方式，例如通过深度伪造和失调，并解释了预防措施和当前社会为减轻这些风险所做的努力。
Anthropic员工正在考虑购买偏远土地，以预防潜在的AI灾难，凸显了AI安全社区对存在风险的担忧。
文章认为，超级AI因潜在的递归自我改进而构成系统性风险，但生成式和代理式AI并非如此。同时警告，基于对超级AI恐惧的过度监管可能导致经济损失。
本文批评了Dario Amodei关于失控的AI智能体集群可能在六个月内接管互联网的警告，认为基于专家意见和技术挑战，这种情景不太可能发生。
本文认为，由于AI依赖于脆弱的人类基础设施和社会契约，AI在十年内导致人类灭绝的可能性很低；如果AI不能很快造福社会，这些基础设施和社会契约将会崩溃。
Eliezer Yudkowsky批评了“末日概率”概念混淆了P(ruin|ASI)和P(ASI)，主张聚焦于AI风险中特定因果链的讨论，而非广泛、模糊的估计。
该推文声称，有一个高度协调、资金充足的行动在幕后推动‘AI有10%几率导致人类灭绝’的言论。
文章讨论了人类威胁仍然是能源系统主要的网络安全风险，生成式AI作为攻击的放大器，而不是失控AI构成的直接危险。
这篇文章通过将'AI如何杀死我们？'这个问题分解为三个关于AI能力和行为的独特子问题，探讨了AI存在风险的复杂性。