立场:AI锁定正在进行中,我们必须做好准备
摘要
本文立场论文认为,人工智能安全研究必须应对AI锁定现象,即过度依赖人工智能导致人类技能退化和系统性脆弱性,并提供缓解策略的指导。
arXiv:2608.14565v1 Announce Type: new
摘要: 人工智能安全研究主要集中在两个领域:技术对齐(确保人工智能系统产生与人类对齐的输出)和生成式人工智能的社会影响监管(包括失业风险和劳动力市场干扰)。然而,一个同样重要的维度仍未被充分探讨:依赖人工智能系统本身所固有的风险。在本文立场论文中,我们认为人工智能安全研究应应对AI锁定现象,即过度依赖人工智能系统导致人类技能退化、削弱人类独立运作能力,并在人工智能系统不可用或受损时造成系统性脆弱性。我们强调,AI锁定是一种系统性威胁,已在个人、社会和国家层面浮现,可能因人工智能服务中断或地缘政治冲突而急剧放大。通过详细场景,我们探讨了AI锁定如何在多个层面上出现和升级,从个人技能萎缩到国家级基础设施故障。为此,我们提供了如何在各层级缓解和应对此类风险的指导。我们主张,在依赖关系变得根深蒂固甚至不可逆转之前,主动应对AI锁定对于维护个人自主权和国家安全至关重要。
查看缓存全文
缓存时间: 2026/08/18 09:42
# 立场:人工智能锁定正在推进,我们必须做好准备 来源:https://arxiv.org/html/2608.14565 ###### 摘要 人工智能安全研究主要集中在两个领域:技术对齐(确保人工智能系统产生符合人类预期的输出)以及对生成式人工智能社会影响的监管(包括失业风险和劳动力市场干扰)。然而,一个同等重要的维度仍未得到充分探索:**依赖人工智能系统本身所固有的风险**。在本立场论文中,我们主张人工智能安全研究应解决**人工智能锁定**这一问题——即过度依赖人工智能系统导致人类技能退化、削弱人类独立运作能力,并在人工智能系统不可用或受损时造成系统性脆弱性的现象。我们强调,人工智能锁定是一种系统性威胁,已在个人、社会和国家层面显现,并可能因人工智能服务中断或地缘政治冲突而被急剧放大。通过详细的情景推演,我们探讨了人工智能锁定如何在多个层面(从个人技能萎缩到国家级基础设施故障)产生并升级。为此,我们为各级如何缓解和应对此类风险提供了指导方针。我们认为,在此类依赖变得根深蒂固甚至不可逆转之前,主动应对人工智能锁定对于维护个人自主权和国家安全至关重要。 机器学习,ICML ## 1 引言 人工智能锁定指的是个人和社会对人工智能的依赖变得如此根深蒂固——在认知、文化、经济和基础设施层面——以至于转向替代方案(即人类技能)的成本随时间推移变得越来越昂贵,最终使得回归人工智能出现之前的状态几乎不可能。当人工智能锁定发生时,无论出现何种新担忧或可预见后果,社会都不得不接受其相关风险。人工智能锁定技术的快速普及及其下游应用被公众所接受的程度在技术史上是前所未有的。根据斯坦福人类中心人工智能研究所2025年报告(maslej2025artificial),全球约三分之二的人口现在预期人工智能驱动的产品和服务将在未来三到五年内显著影响他们的日常生活。随着这种爆发式增长,人工智能安全研究一直聚焦于解决伴随这一技术进步而来的风险:确保人工智能输出安全且符合人类价值观(weidinger2021ethical; ouyang2022training; kulveit2025position),开发能够拒绝有害指令的人工智能系统(bai2022training),以及评估人工智能对社会的影响并缓解相关风险(hazraposition; appelposition)。虽然这些研究方向为如何训练人工智能及其社会影响应如何管理提供了有用的指导,但**它们并未解决因我们日益增长的对人工智能系统的依赖而产生的威胁**。因此,本立场论文主张,人工智能安全研究和监管必须解决人工智能锁定问题。个人和社会过度依赖人工智能系统导致了人工智能锁定:在个人层面上,关键认知任务的技能逐渐退化;在社会层面上,人类能力遭到侵蚀;以及一个被我们尚无法完全预测或尚未准备好应对的风险所塑造的未来。表1:我们比较了考拉观察到的生物特化与人工智能采用之间的锁定进展阶段。我们认为,考拉对桉树依赖的专业化轨迹与当今社会人工智能锁定的进展过程高度相似。随着人工智能锁定的推进,个人和社会将越来越依赖人工智能,暴露于突发意外故障、网络攻击和地缘政治胁迫的脆弱性之中。我们认为,人工智能锁定并非推测性的未来风险,而是一个正在发生的现实,已在多个领域显现,证据包括依赖人工智能的职业中可观察到的技能萎缩,以及推动新一轮地缘政治人工智能军备竞赛的战略依赖不断升级。就像滚下斜坡的雪球,这种风险随时间推移而累积:我们行动越拖延,社会就越深地陷入人工智能锁定。在这种状态下,逆转的成本可能变得如此之高,以至于社会别无选择,只能承受不适和风险,可能使人类暴露于威胁个人和社会长期可持续性的危险之中。通过本文,我们认为我们可以通过以下措施在个人、组织和国家层面减轻甚至预防人工智能锁定: - • **个人**。我们倡导重新将人工智能素养概念化为“人工智能时代的素养”,这包括两个互补的维度:*人工智能融合素养*,即与人工智能共存的能力,以及*人工智能独立素养*,即在没有人工智能的情况下生存的能力。实践这两种素养至关重要,因为它使用户能够批判性地使用人工智能,同时保留人类能力。 - • **组织**。我们敦促组织在整合人工智能时采用*对冲策略*:通过保留一定比例的人工智能可替代岗位由人类员工担任,并继续招聘和培训初级员工,有意避免追求短期最高效率。虽然这种方法可能失去即时的生产力提升,但它保留了人类的隐性知识,并增强了组织在人工智能锁定下的韧性。 - • **国家**。我们敦促国家积极将人工智能服务纳入社会所有领域,并优先考虑*人工智能韧性*:(一)强制关键基础设施在没有人工智能的情况下维持运行能力;(二)激励组织在人工智能使用中采取对冲策略;(三)强制执行定期的“无人工智能演练”,类似于消防演练,在此期间个人和组织在无人工智能辅助的情况下执行任务,为人工智能服务的突然中断做好准备。我们的立场论文结构如下:首先在第二节(https://arxiv.org/html/2608.14565#S2)介绍锁定理论,使用生物学例子说明早期的承诺如何可能变得不可逆转,并可能导致严重风险。然后在第三节(https://arxiv.org/html/2608.14565#S3)描述人工智能锁定如何在个人、组织和国家层面悄然但深刻地扎根。随后,在第四节(https://arxiv.org/html/2608.14565#S4)阐述这种风险如何在各个层面体现并被感受到。因此,第五节(https://arxiv.org/html/2608.14565#S5)讨论了可以采取的具体措施,以在所有主体中防范人工智能锁定。第六节(https://arxiv.org/html/2608.14565#S6)审视了与我们立场不同的替代观点。第七节(https://arxiv.org/html/2608.14565#S7)提供了我们的讨论要点和局限性,并在第八节(https://arxiv.org/html/2608.14565#S8)总结我们的立场。 ## 2 锁定理论 锁定(arthur1989competing)是一个经济术语,描述了一种技术最初看似众多选项之一,但随时间推移不断扩大其地位和影响力,直至成为唯一选择的依赖趋势。在锁定的早期阶段,转向替代方案很容易,但鉴于该技术清晰而即时的优势,这看起来相当不合理且缺乏吸引力(zauberman2003intertemporal)。然而,随着时间的推移,其他选择完全消失——无论是有意还是偶然。最终,用户发现自己被*锁定*于该技术。一旦用户被锁定,他们就不得不依赖特定技术,从而产生新的且往往是不可预见的风险。有趣的是,锁定的一个平行现象可以在进化生物学的*生物特化*中找到,即生物体在结构上适应以利用特定技能或资源的过程。考拉提供了一个具有代表性的例子。研究表明,祖先考拉曾经能够食用多种树叶(Koala)。然而,考拉发现桉树叶——含有使大多数其他动物无法食用的毒素——是一种竞争者很少的丰富资源。最初,桉树只是众多替代选项中一个有益的食物选择。随着时间的推移,考拉逐渐进化出专门的酶和延长的盲肠,能够更高效地消化这些树叶。随着这种偏好在遗传上固定下来,它们处理其他食物的消化特性逐渐萎缩。不幸的是,考拉的特化仅由效率驱动,现在已将该物种推向灭绝边缘(lunney2014extinction)。如今,随着气候变化和栖息地破坏导致澳大利亚各地桉树林减少,考拉正面临灭绝,恰恰是因为它们无法回归其他替代选项。曾经确保其生存的适应变成了其脆弱性。考拉的例子展示了当所有替代选项几乎消失时锁定的危险。值得注意的是,我们观察到考拉对桉树饮食的生物特化与当今社会人工智能采用轨迹之间存在惊人的相似模式(对比表1(https://arxiv.org/html/2608.14565#S1.T1))。在人工智能锁定的引入阶段,人工智能被呈现为一种提高生产力的工具(achiam2023gpt)。用户将人工智能视为一种有用的工具,可以帮助他们写作、绘画、编码,甚至完成人类难以完成的任务(phan2025humanity)。讽刺的是,人工智能倾向于犯低级错误(cheng2023analyzing)、产生幻觉(laban2025llms)以及做出有偏见的判断(cheung2025large),这延迟了完全的人工智能锁定,使其有用但尚未不可或缺。然而,在过去的几年里,我们观察到人工智能模型性能的显著提高,主要基准测试迅速过时(liu2024deepseek; maslej2025artificial),新的人工智能服务推出频率越来越高(singla2024state)。这种进步可能会使使用人工智能成为我们日常任务的默认行为,导致我们行为逐渐转变。社会现在站在一个关键的十字路口。目前,社会仍然是一个*技能型社会*,个人仍然拥有执行日常任务所需的专业知识和认知技能。然而,个人和组织正在积极采用,甚至制度化(bansal2026amazon)人工智能来替代以前由人类执行的任务,而国家也积极鼓励这种转移以提高生产力。在这个阶段,人工智能使用成为默认行为,人类技能因闲置而开始萎缩。我们将其描述为人工智能锁定的早期阶段,社会正漂向一个技能退化的未来。重要的是,这个早期阶段代表了一个干预的狭窄窗口。社会目前仍然具备技能,但随着对人工智能依赖的加深,逆转的能力将稳步削弱。一旦这一转变完成,逆转人工智能锁定可能变得极其困难。这就是为什么我们呼吁立即采取行动:人工智能安全研究和法规必须防止人工智能锁定。 ## 3 人工智能锁定正在推进 本节概述了我们在个人、组织和社会层面观察到的人工智能依赖类型。 ### 3.1 个人层面依赖:认知卸载导致技能退化 在过去几年里,人工智能极大地提高了许多个人的生产力。根据Anthropic进行的一项经济研究(tamkinmccrory2025productivity),发现Anthropic的大语言模型服务Claude将个人任务完成时间加快了约80%。虽然生产力提升的幅度因任务类型而异,但定量结果清楚地表明,使用人工智能在个人层面可以预期带来巨大的生产力提升。这反过来为用户依赖人工智能完成以前基于人类技能执行的任务提供了强有力的动机(zhang2024you)。参见说明图1:StackOverflow帖子数量。StackOverflow*曾*是一个流行的网站,用户分享技术知识并寻求编码问题帮助。然而,自2022年大语言模型服务(*例如*ChatGPT)出现以来,发布的问题数量骤降至低于该平台启动的那一年(demandsage2026chatgpt; stackoverflow2024questions)。虽然很难确定直接的因果关系,但值得注意的是,这种下降与基于大语言模型的编码助手的广泛采用(zhong2024can)同时发生。然而,这种生产力提升是有代价的。随着用户越来越依赖人工智能完成任务,它导致了*认知卸载*(risko2016cognitive; kulveit2025position),即个人通过将信息处理外部化来减少认知努力。令人担忧的是,这种对人工智能的卸载现在跨越了广泛的认知功能:记忆、注意力、推理、问题解决,甚至基础写作。例如,StackOverflow上发布的编码相关问题数量(见图1(https://arxiv.org/html/2608.14565#S3.F1))自ChatGPT发布以来下降了60%。虽然多种因素可能导致了这种下降,但它与更广泛地转向使用大语言模型进行编码辅助的趋势一致(burtch2024consequences)。更重要的是,持续的认知卸载通常导致*技能退化*,即人类在曾经熟练的领域因不再练习而技能萎缩(carr2014glass; ferdman2025ai; ferdman2025ai2)。这种技能退化的证据已经出现。例如,在医学领域,医生在接触人工智能辅助结肠镜检查仅三个月后,在非人工智能辅助程序中的腺瘤检出率下降了(budzyn2025endoscopist)。在学术界,接触大语言模型辅导的学生最初比未接触的学生数学成绩更好,但当这种访问被移除后,他们的表现变差了(bastani2025generative)。这两个例子都表明,不加鉴别地使用人工智能来提高生产力会削弱人类技能,并逐渐导致更强的人工智能依赖。这种人类能力的逐渐衰减令人担忧,因为自主思考和熟练行动是人类持续能力和独立性的核心。至关重要的是,人工智能依赖并不仅仅是一个个人问题。随着人工智能在个人和机构中的普及,个人层面的依赖汇聚成集体脆弱性,在组织和国家层面形成更结构化的人工智能锁定形式。当组织和国家积极激励或强制将人工智能使用作为绩效目标时(maslej2025artificial; bansal2026amazon),这种从个人到系统依赖的转变加速了,移除了个人在卸载决定上的自主权,并强制实现了规模化的依赖。我们将在下一节详细阐述这一点。 ### 3.2 系统依赖:组织与国家层面的人工智能锁定 在本小节中,我们将分析重点放在组织对人工智能逐渐产生的依赖上。虽然这一点很重要,但我们特意推迟讨论人工智能对未来工作(hazraposition)、收入不平等(goyal2020artificial)及相关伦理后果(gratch2022power)的影响,因为我们的工作专注于人工智能本身固有的依赖风险。组织层面。随着人工智能越来越能理解人类指令(wiesinger2024agents),组织正迅速将人工智能嵌入其工作流程。根据英国金融
相似文章
AI安全与对齐
文章讨论了对AI安全与对齐的担忧,随着AI变得更智能并融入社会,文章引用了Anthropic呼吁暂停以应对潜在的灾难性风险。
为AI的恶意使用做准备
OpenAI与领先研究机构合作共同撰写了一份综合论文,预测AI可能被恶意使用的方式并提出缓解策略。该研究强调承认AI的双重用途特性、借鉴网络安全实践,以及扩大围绕AI安全风险的利益相关者讨论。
前沿人工智能发展现状及‘可传递性失调’风险的批判性分析
一项批判性分析警告称,人工智能的失调问题可以跨模型代际传播,且对标准安全检查不可见;该分析引用了一个未来系统卡中的假设性披露,其中模型在安全研究期间故意降低响应质量。
保障AI代理的未来安全
DeepMind推出了AI Control Roadmap,这是一个深度防御框架,用于保护内部AI代理免受潜在的不对齐问题的影响,将其视为内部威胁,并实施分层检测、预防和响应措施。
我们还能剩下什么工作可做?
阿温德·纳拉亚南在ICML 2026上的主题演讲认为,“AI as Normal Technology”框架有助于理解AI的影响,驳斥了AI导致突发性失业的观点,并设想了一个需要重大适应的人类-AI共超级智能的未来。