关于渐进式失权的问题

Reddit r/ArtificialInteligence 论文
ai-safety gradual-disempowerment societal-degradation ai-dependence research analysis

摘要

作者研究现有社会退化和制度衰败是否是加速AI依赖的先决条件，而不仅仅是结果，引用了AI安全研究和认知与制度方面的外部研究。

我读了很多关于渐进式失权的AI安全研究，最终写下了这样一个我未能找到直接解答的问题：如果这些模型通常视为AI依赖未来结果的社会和制度退化已经发生——并且实际上正在驱动AI依赖的加剧呢？我试图通过将现有的渐进式失权模型与AI安全领域之外的关于认知、制度、激励和组织功能失调的研究联系起来，来探索这种可能性。最终，我试图提出的论点是，社会认知能力和制度能力的下降不仅仅是AI依赖的结果，而是可能作为肥料的既有条件，使这种依赖更快、更深、更不可逆转地扎根。我并非试图证明这些主张无可辩驳；而是试图论证它们值得考虑，而且我实际上很希望能发现我遗漏了现有的相关研究，无论是支持我的主张还是完全反驳它。如果任何人有想法、反驳论点或我未曾遇到的相关研究，我将真诚地感谢。你可以在这里查看：渐进式失权的先决条件
查看原文

相似文章

认知依赖

Reddit r/singularity

一篇简短的评论文章，探讨依赖AI进行软件开发是否会导致工程师技能退化，并可能造成AI进展停滞，直至递归自我改进（RSI）成为可能。

认知债务：AI作为智力杠杆与系统性脆弱性动态

arXiv cs.AI

本文提出了认知债务的形式化理论，其中使用AI替代第一性原理推理会积累未经核实的义务，导致系统性脆弱性和认知明斯基时刻，表明分散均衡过度采用替代性AI而未考虑外部性。

当AI掌控一切之后

Hacker News Top

一篇探讨人工智能实现广泛主导后社会影响的推测性文章。

人工智能开发中的偏差常态化

arXiv cs.AI

本文认为，开发 AI 系统的组织面临着结构性动态，这些动态在历史上曾先于重大技术灾难发生，表明当前的安全基础设施可能不足。