ai-risk

论文《The AI Financial Crisis as Morphogenetic Collapse》认为，下一次金融危机将源于AI认知能力的增长超过监管者，产生市场无法处理的“Invisible Move”。

一个免费的AI风险计算器，使用费米估算与诚实的置信区间，在几分钟内估算AI风险暴露，分为五个类别，并提供可下载的PDF。

本文认为，AI最大的风险并非幻觉，而是人类验证能力的逐渐退化，最终导致一个无法质疑AI输出的文明。

一篇Substack文章回顾了1964年的《网络化革命》备忘录，该备忘录错误地预测自动化将导致大规模失业，并将其与当前对AI的担忧相类比，指出如今的AI进步可能确实有所不同。

文章基于姚顺宇的判断，认为AI会优先改变反馈清晰、可快速验收的任务，而非按职业声望排序；程序员因代码世界完善的测试和反馈机制率先被影响，产品经理的核心判断虽难训练但其外围执行层同样面临重构。

一篇评论文章探讨了COVID-19迅速传播与当前AI快速发展之间的类比，强调了全球准备不足、专家意见分歧和协调挑战方面的相似之处，同时指出了关键差异，例如AI的潜在益处。

Anthropic发布《Founder's Playbook》手册，警示AI可能增加创业失败率，并提供从创意到规模化各阶段正确使用AI的框架和教训。

英国公司被建议采取行动降低前沿AI模型的风险，反映出业界对监管与安全的日益关注。

一篇思想文章，指出随着AI变得更准确，人类监督可能会退化为例行批准，从而产生'信任-监督悖论'，即高性能AI仍可能因不完整的表征、过时数据或自动化偏见而失败，建议从人工审查转向治理边界。

HuggingFace首席执行官Clément Delangue认为，限制开源AI模型带来的风险比开放更大。他以GPT-2和Mythos等历史例子为例，支持他的观点：开放能改善网络安全和整体安全性。

文章认为，主要的AI风险可能不是超级智能，而是那些优化了有缺陷、不完整的现实表征的系统，从而导致制度漂移、自动误分类和隐蔽的治理失败。

微软修复了 137 个漏洞，其中 Azure AI Foundry 中一个值得注意的高严重性权限提升修复突显了 AI 应用基础设施层的安全风险。

本文认为，代理式编程（即 AI 生成代码，人类充当编排者）是一个陷阱，原因包括系统复杂性增加、技能退化以及供应商锁定。文章强调了这种做法对开发者学习和批判性思维的负面影响，并将这一新的抽象层与历史上的编程范式转变进行了对比。

一名缅因州律师因在法院文件中依赖人工智能，导致引用错误和对判例法的错误描述，而面临制裁，包括强制培训。