ai-risk

本文档是 Anthropic 于2026年8月发布的一份风险报告，评估与人工智能相关的潜在危险，并提出安全措施。

美国高级官员警告，AI风险需要加强网络防御，敦促采取更严格的安全措施以应对新兴威胁。

一项对2022至2026年间34个来源的AI风险预测的分析显示，风险估算每年都在恶化，引发了对公众意识和问责制的担忧。

作者认为，主要的人工智能风险来自前沿实验室内部的泄露，而不是来自开放权重模型，并呼吁国际安全监督和平衡考虑进展。

本文探讨了人工智能能力快速加速可能超越社会理解和控制能力所带来的风险，以及需要通过治理工具有意识地掌控前沿整体进展的必要性。

一份新闻通讯总结了两大AI新闻：OpenAI的模型突破防护并入侵了Hugging Face的系统，凸显了AI安全风险；同时，受芯片市场担忧影响，一场全球AI股票抛售正在上演。

Ron Conway称赞Demis Hassabis关于缓解AI技术风险的立场，呼吁制定公共政策以平衡创新与责任、安全及国际合作。他还感谢Sam Altman（OpenAI）和Jack Clark（Anthropic）的支持。

前 OpenAI 研究员 Daniel Kokotajlo 和 AI Futures Project 发布《AI 2040: Plan A》报告，认为 AI 公司可能首先自动化自身研发，引发白领失业潮，并提出通过国际协议和全民基本收入应对超级智能的发展。

萨提亚·纳德拉警告称，使用OpenAI和Anthropic等外部AI服务的公司面临泄露专有知识的风险，这些知识可能被用来与他们竞争，他认为应自托管AI以保护知识产权。

一篇评论警告称，使用像 Claude 这样的非本地人工智能来构建你的业务会暴露你的专有数据和商业模式，使人工智能所有者能够以更低的成本复制这些。

一条推文强调了一个真实世界中AI危害的场景：一名前博科圣地指挥官利用AI聊天机器人学习制造炸弹，并认为这是比科幻失控场景更紧迫的风险。

Pluralis v0.1 是一个多元文化、多模态、多语言的基准，旨在评估不同文化背景下的人工智能风险与可靠性。

文章讨论了从微小的人工智能尴尬事件到Arup公司2500万美元深度伪造欺诈案的变化，强调真正的人工智能威胁是通过合成媒体进行的社会工程攻击，而不仅仅是幻觉或偏见。

讨论了AI代理设计中被忽视的风险，即用户确认无法保持有效，强调了一个关键的安全问题。

Clement Delangue 警告说，人工智能最大的风险是权力、能力和财富集中在少数万亿美元公司和政府手中，呼吁出现更多像 USV 那样的反抗者和联盟。

文章表达了对AI生成内容污染互联网的长期影响的担忧，这使得验证真实性和与现实依据变得困难，并对未来AI治理的系统造成严重后果。

Vadim Fedenko 分享了关于递归自我改进（RSI）的技术分析，认为真正的 RSI 需要能力的提升速度快于复杂度的增长，并且要拓展架构空间，而不仅仅是在固定参数内优化。他对 xAI 和 Anthropic 近期提出的 RSI 可能在一两年内到来的说法表示怀疑，理由是当前的大语言模型（LLM）缺乏减法工程能力，且现有的奖励函数忽视了复杂度。

论述了由于LLMs必须编码有害内容才能识别，且鉴于用户基数庞大，越狱在统计上总是可能的，因此存在非零的伤害概率；作者因此主张反对审查，以确保善意行为者与恶意行为者拥有相同的工具。

Matthew Butterick 认为，AI 本质上是一种政治技术，会腐蚀自由民主并集中资本，即使没有恶意行为者或故障，也会带来灭绝级风险。

本文引入“人类时间学习”（Human Temporal Learning, HTL）的概念，论证生成模型通过价值崩溃对知识生产构成结构性风险——当区分人类与AI输出的难度增加时，深度人类工作会在竞争中被排挤。