标签
文章讨论了从微小的人工智能尴尬事件到Arup公司2500万美元深度伪造欺诈案的变化，强调真正的人工智能威胁是通过合成媒体进行的社会工程攻击，而不仅仅是幻觉或偏见。
Clement Delangue 警告说，人工智能最大的风险是权力、能力和财富集中在少数万亿美元公司和政府手中，呼吁出现更多像 USV 那样的反抗者和联盟。
Vadim Fedenko 分享了关于递归自我改进（RSI）的技术分析，认为真正的 RSI 需要能力的提升速度快于复杂度的增长，并且要拓展架构空间，而不仅仅是在固定参数内优化。他对 xAI 和 Anthropic 近期提出的 RSI 可能在一两年内到来的说法表示怀疑，理由是当前的大语言模型（LLM）缺乏减法工程能力，且现有的奖励函数忽视了复杂度。
论述了由于LLMs必须编码有害内容才能识别，且鉴于用户基数庞大，越狱在统计上总是可能的，因此存在非零的伤害概率；作者因此主张反对审查，以确保善意行为者与恶意行为者拥有相同的工具。
Matthew Butterick 认为，AI 本质上是一种政治技术，会腐蚀自由民主并集中资本，即使没有恶意行为者或故障，也会带来灭绝级风险。
本文引入“人类时间学习”（Human Temporal Learning, HTL）的概念，论证生成模型通过价值崩溃对知识生产构成结构性风险——当区分人类与AI输出的难度增加时，深度人类工作会在竞争中被排挤。
论文《The AI Financial Crisis as Morphogenetic Collapse》认为，下一次金融危机将源于AI认知能力的增长超过监管者，产生市场无法处理的“Invisible Move”。
一个免费的AI风险计算器，使用费米估算与诚实的置信区间，在几分钟内估算AI风险暴露，分为五个类别，并提供可下载的PDF。
一篇Substack文章回顾了1964年的《网络化革命》备忘录，该备忘录错误地预测自动化将导致大规模失业，并将其与当前对AI的担忧相类比，指出如今的AI进步可能确实有所不同。
文章基于姚顺宇的判断，认为AI会优先改变反馈清晰、可快速验收的任务，而非按职业声望排序；程序员因代码世界完善的测试和反馈机制率先被影响，产品经理的核心判断虽难训练但其外围执行层同样面临重构。
一篇评论文章探讨了COVID-19迅速传播与当前AI快速发展之间的类比，强调了全球准备不足、专家意见分歧和协调挑战方面的相似之处，同时指出了关键差异，例如AI的潜在益处。
Anthropic发布《Founder's Playbook》手册，警示AI可能增加创业失败率，并提供从创意到规模化各阶段正确使用AI的框架和教训。
一篇思想文章，指出随着AI变得更准确，人类监督可能会退化为例行批准，从而产生'信任-监督悖论'，即高性能AI仍可能因不完整的表征、过时数据或自动化偏见而失败，建议从人工审查转向治理边界。
HuggingFace首席执行官Clément Delangue认为，限制开源AI模型带来的风险比开放更大。他以GPT-2和Mythos等历史例子为例，支持他的观点：开放能改善网络安全和整体安全性。
文章认为，主要的AI风险可能不是超级智能，而是那些优化了有缺陷、不完整的现实表征的系统，从而导致制度漂移、自动误分类和隐蔽的治理失败。
微软修复了 137 个漏洞，其中 Azure AI Foundry 中一个值得注意的高严重性权限提升修复突显了 AI 应用基础设施层的安全风险。