关于渐进式失权的问题

Reddit r/ArtificialInteligence 论文
ai-safety gradual-disempowerment societal-degradation ai-dependence research analysis

摘要

作者研究现有社会退化和制度衰败是否是加速AI依赖的先决条件，而不仅仅是结果，引用了AI安全研究和认知与制度方面的外部研究。

我读了很多关于渐进式失权的AI安全研究，最终写下了这样一个我未能找到直接解答的问题：如果这些模型通常视为AI依赖未来结果的社会和制度退化已经发生——并且实际上正在驱动AI依赖的加剧呢？我试图通过将现有的渐进式失权模型与AI安全领域之外的关于认知、制度、激励和组织功能失调的研究联系起来，来探索这种可能性。最终，我试图提出的论点是，社会认知能力和制度能力的下降不仅仅是AI依赖的结果，而是可能作为肥料的既有条件，使这种依赖更快、更深、更不可逆转地扎根。我并非试图证明这些主张无可辩驳；而是试图论证它们值得考虑，而且我实际上很希望能发现我遗漏了现有的相关研究，无论是支持我的主张还是完全反驳它。如果任何人有想法、反驳论点或我未曾遇到的相关研究，我将真诚地感谢。你可以在这里查看：渐进式失权的先决条件
查看原文

相似文章

全球最佳的渐进失权模式生物：前沿 AI 实验室（约 32 分钟阅读）

TLDR AI

## 一个 LessWrong 上的论述：前沿 AI 实验室本身就是研究「渐进式失权」的最佳「模式生物」 本文提出：当前最前沿的 AI 实验室，本身就是研究「渐进式失权」（gradual disempowerment）这一现象的最佳可用「模式生物」（model organism）——即随着 AI 能力不断提升，人类如何一步步失去控制权。 文中探讨了这一观点对 AI 安全研究与治理工作的启示：若失控并非突发的、戏剧性的崩溃，而是缓慢的、渐进的过程，那么我们应当关注的就不再是单一的「对齐」时刻，而是在能力增长的每一个阶段，权力、决策权与自主性是如何被逐步转移的。 - **核心论证**：前沿实验室的行为、激励结构与组织动态，为我们提供了一个观察「控制权如何被系统性地让渡」的真实场景。 - **对安全研究的意义**：应将研究重心从「避免某个灾难性临界点」转向「监测并阻止持续的权力流失」。 - **对治理的意义**：监管与监督机制需要能够识别并应对这种渐进式、往往是隐性的失权过程，而非仅针对明确的违规行为。

认知依赖

Reddit r/singularity

一篇简短的评论文章，探讨依赖AI进行软件开发是否会导致工程师技能退化，并可能造成AI进展停滞，直至递归自我改进（RSI）成为可能。

认知债务：AI作为智力杠杆与系统性脆弱性动态

arXiv cs.AI

本文提出了认知债务的形式化理论，其中使用AI替代第一性原理推理会积累未经核实的义务，导致系统性脆弱性和认知明斯基时刻，表明分散均衡过度采用替代性AI而未考虑外部性。

当AI掌控一切之后

Hacker News Top

一篇探讨人工智能实现广泛主导后社会影响的推测性文章。