人工智能毁灭人类的九种方式及预防方法

# 最后的发明？AI风险图解指南 来源：https://airisk.thomasunise.com/ 核心问题 ## 最后的发明？ 人工智能造成严重伤害的九种方式。每种风险的作用机制，以及应对之策。 AI风险图解指南 2023年5月，数百位AI研究员与顶尖AI实验室负责人签署了一份仅有一句话的声明：“缓解AI带来的灭绝风险，应与大流行病、核战争等社会性风险同列为全球优先事项。”这项技术的建造者中，有人认为它可能引发灾难性后果。本指南将解析其中缘由。 滚动页面探索完整内容 ### 四种出错方向 AI无需具备恶意甚至意识，就能造成灾难。研究此类问题的学者将危险归纳为四大源头。后续每个章节的案例分析，至少对应其中一种风险。 **滥用**人们刻意利用AI伤害他人：实施欺诈、监控、黑客攻击或制造武器。AI完全按设计运行，问题在于使用者的意图。 **事故**系统以无人预期的方式失效，而依赖它的人因过度信任而未能及时发现问题。 **竞赛**企业和国家迫于抢先压力，在安全方面偷工减料，部署自己尚未完全理解的系统，并将人类传统决策权交给机器。 **错位**一个能力强大的系统追求的目标与人类本意存在偏差，且抗拒纠正。 **阅读指南**每章解析一种风险：风险本质、作用机制、已记录的现实案例、最可信的严重后果，以及应对措施。前半部分章节讨论正在发生的危害，后半部分探讨新兴或尚属假设的风险。 来源30 (https://airisk.thomasunise.com/#source-30)31 (https://airisk.thomasunise.com/#source-31)02 (https://airisk.thomasunise.com/#source-2)01 (https://airisk.thomasunise.com/#source-1) 深度伪造与欺骗 ## 当现实崩塌时 AI现在能伪造任何面孔、声音和文件。危害不止于谎言，更在于它对真相的侵蚀。 **现状：正在发生** 生成式AI能制作逼真的视频，让真人说出从未说过的话，或从短录音中克隆声音。如今欺诈者、宣传者和骚扰者获得了让欺骗变得快速、廉价且个性化的工具。真正的风险在于：当社会最需要辨别真相的能力时，却可能彻底丧失这种能力。 ### 伪造带来的远不止信任危机 伪造古已有之。AI改变的是成本与规模。过去需要专业工作室才能制作的虚假内容，现在只需一台笔记本电脑和几分钟时间，而且可以精准定制：你老板的声音、你孩子的声音、你银行的声音。每次成功的伪造都在为下一次提供模板。 更深层的危害随后显现。法学教授Bobby Chesney和Danielle Citron称之为“骗子红利”：一旦人们知道存在高度逼真的伪造品，任何真正被录下不当言行的人都可以声称那是伪造的。伪造品不仅传播谎言，更为真实的恶行提供掩护，并消解了“证据能解决一切”的观念。 **最坏可能情形**真实危机爆发时——如飓风、银行挤兑或袭击——同时出现大量伪造的疏散指令、官方辟谣和虚假影像。民众无法分辨该听从哪些指示，导致犹豫或误从；而真实警告却因无法自证而失效。在选举中，精心设计的伪造信息可能在揭晓前才释放，使辟谣为时已晚，从而扭转选举结果。 **应对措施**通过你已信任的渠道核实紧急请求：挂断电话后用已知号码回拨。正在将“内容凭证”（显示照片/视频来源的加密标签）集成到相机和平台中。欧盟《人工智能法案》要求从2026年8月起披露深度伪造与AI生成内容。监管机构也在测试平台责任：2026年1月，英国与欧盟监管机构因X平台聊天机器人Grok生成真人色情深度伪造内容而启动调查。 来源03 (https://airisk.thomasunise.com/#source-3)04 (https://airisk.thomasunise.com/#source-4)05 (https://airisk.thomasunise.com/#source-5)06 (https://airisk.thomasunise.com/#source-6)32 (https://airisk.thomasunise.com/#source-32) 监控与控制 ## 世界化为牢笼 AI使全天候全民监控成为可能。掌控监控手段者，便掌控了太多其他事物。 **现状：正在发生** 监控曾受限于人力：需要有人查看摄像头、阅读信息、追踪嫌疑人。AI消除了这种限制。人脸识别、位置追踪和自动化分析让政府或企业能同时识别和追踪数百万人。在不当使用者手中，这是控制工具；即使在谨慎管理者手中，其错误也会影响真实个体。 ### 监控如何转化为控制 技术机制很简单：摄像头和手机生成数据，AI将这些数据关联起来：面孔对应姓名，姓名对应位置，位置对应行为模式。一旦这些关联建立，就能用来查找抗议者、标记异见人士，或拒绝贷款、工作与边境通行，而当事人往往不知缘由。 错误使问题加剧。2019年美国国家标准与技术研究院测试了189种人脸识别算法，发现针对亚裔和非裔面孔的错误匹配率通常比白人面孔高10至100倍，具体取决于算法。即使准确率极高的系统，每天仍会弄错某些人。 **最坏可能情形**政府将摄像头、手机数据、网络监控和AI分析整合为一套系统，在异议形成前就能识别。反对派活动几乎无法进行，且系统永不疲倦或分神。联合国人权事务高级专员办事处2022年关于中国新疆地区的评估描述了普遍存在的监控与拘留，称其可能构成危害人类罪。担忧在于，AI使这种模式成本更低、更精准、更难逃脱。 **应对措施**立法禁止最危险的应用：欧盟《人工智能法案》禁止社会信用评分，并在严格例外情况下禁止警方在公共空间使用实时人脸识别。制定规则（如底特律模式），将AI匹配结果视为线索而非确凿证据。实施独立审计、公开披露系统使用场所，并建立民众挑战相关决定的切实途径。 来源07 (https://airisk.thomasunise.com/#source-7)08 (https://airisk.thomasunise.com/#source-8)09 (https://airisk.thomasunise.com/#source-9)10 (https://airisk.thomasunise.com/#source-10) 就业、金融与电网 ## 进步为谁而生？ AI可能大幅提升经济生产力，但也可能使收益集中、代价扩散。 **现状：正在构建** 每项重大技术都会重塑工作，但AI直指那些曾被认为能抵御自动化影响的脑力工作。同时，它消耗海量电力，使银行与企业依赖少数几家供应商。这些压力单独都不会导致世界末日，但合力会使社会更不平等、更脆弱。 ### 三重压力同时袭来 **就业**国际劳工组织估计，全球四分之一劳动者的工作涉及生成式AI应用，在高收入国家该比例达34%。文职工作受影响最大，女性职业比男性职业更易受影响。受影响主要意味着工作性质改变而非消失，但改变对缓冲最少的人群冲击最大。 **能源**国际能源署估计2024年数据中心用电约415太瓦时，约占全球总用电量1.5%，预计到2030年将翻倍以上，AI是主要驱动因素。这种需求与家庭和工厂竞争电力、水资源和电网容量。 **金融**当众多银行依赖同几家AI供应商和相似模型时，可能同时失效，或在同一时刻做出相同错误交易。 **最坏可能情形**收益流向拥有最强AI系统的少数公司，而数百万劳动者失去议价能力的速度快于新岗位创造速度。一个广泛使用的AI服务发生故障，会以机器速度在市场引发连锁反应。电网压力推高其他所有人的电价。每种压力加剧其他压力，承受压力的社会更难应对此指南中的其他风险。 **应对措施**制定政策，在岗位消失前（而非之后）共享生产力收益并资助再培训。对主要AI供应商故障场景进行压力测试。制定规则防止关键服务依赖单一供应商。能源规划应让数据中心为其使用的电网容量和清洁能源付费。 来源11 (https://airisk.thomasunise.com/#source-11)12 (https://airisk.thomasunise.com/#source-12)13 (https://airisk.thomasunise.com/#source-13) 网络攻击与基础设施 ## 一处故障，处处瘫痪 医院、电网和航空公司运行在共享软件上。AI正在降低破坏这些系统的速度和成本。 **现状：正在发生** 现代生活依赖软件，且很多系统运行在同一软件上。这很高效，但也意味着一处故障可能瞬间蔓延全球。AI改变了攻防双方的力量对比：它比人类更快发现并利用安全漏洞，而嵌入真实系统的AI智能体可能以机器速度犯错。 ### 黑客攻击如何引发大停电 基础设施相互连接。医院依赖其病历系统，病历系统依赖云服务商，云服务商依赖电网。断开一个环节，故障就会级联扩散。2024年7月，安全公司CrowdStrike一次错误更新导致约850万台Windows电脑崩溃，数万航班取消，医院和911服务中断。这是事故而非AI攻击，但展示了单一故障的波及范围。 AI使蓄意攻击更廉价、更迅速。英国国家网络安全中心判断，到2027年AI“几乎肯定”会使网络入侵更有效、更频繁，并缩短漏洞从发现到被利用的时间。跟不上节奏的系统将越来越落后。 **最坏可能情形**攻击者利用AI比防御者更快发现并利用电网、供水系统或医院的弱点，并同时袭击多个系统。由于众多系统共享相同软件，一次成功攻击就会广泛传播。持续数日的区域性停电将同时导致供水、供暖、医疗和通信中断。 **应对措施**相同的AI可用于防御。2026年4月，Anthropic公司未公开发布名为Claude Mythos Preview的模型，因其发现安全漏洞的能力过强，转而让微软、苹果、谷歌和Linux基金会等公司获取访问权限，以便它们先发现并修复数千个严重漏洞。除此之外：加快补丁更新、限制AI智能体可接触的范围、隔离关键系统，并练习手动运行核心服务。 来源14 (https://airisk.thomasunise.com/#source-14)15 (https://airisk.thomasunise.com/#source-15)16 (https://airisk.thomasunise.com/#source-16)17 (https://airisk.thomasunise.com/#source-17) 生物与化学武器 ## 不计后果的知识 能帮助设计药物的AI，同样能帮助设计毒药。最令人担忧的结果是制造出工程化大流行病。 **现状：新兴风险** 历史上，制造生物或化学武器最困难的部分在于知识：知道制造什么以及如何制造。在世界科学文献上训练的AI系统能解释原理、制定方案并排除故障。令人担忧的是，它们降低了这一门槛，将曾限于国家级武器项目的能力，置于小团体甚至单人可及的范围内。 ### 这为何是实验室最恐惧的风险 多数武器受自身物理特性限制：炸弹摧毁其击中的东西。传染病能自行传播，跨越国境，持续数月。这使生物学成为少数能造成全球规模危害的途径之一。COVID-19表明，自然出现的病毒即使对最富裕的国家也能造成巨大破坏。 AI公司对此足够重视并已采取行动。2025年，Anthropic和OpenAI都对其最新模型实施了更强的生物滥用防护措施，因为无法排除模型可能实质性帮助新手制造生物武器。他们并未断言模型能够做到，而是表示不再确信模型不能做到。 **最坏可能情形**一个小团体利用AI指导克服制造和传播危险病原体的技术障碍。疫情在被发现前已扩散，且速度超过疫苗和药物的研发进程。这是政府和AI开发者最担忧的场景之一，因为它与本指南多数危害不同，可能致数百万人死亡。 **应对措施**单一防护措施不够，因此采用层层防御。AI模型被训练为拒绝危险请求，并被监控以防滥用。DNA合成公司筛查订单中的危险序列。实验室严控危险材料。公共卫生系统投资于早期发现疫情和快速生产疫苗。 来源18 (https://airisk.thomasunise.com/#source-18)19 (https://airisk.thomasunise.com/#source-19)20 (https://airisk.thomasunise.com/#source-20)01 (https://airisk.thomasunise.com/#source-1) AI战争 ## 比人类疑虑更快 军方正将战争中更多决策权交给AI。危险在于无判断的速度。 **现状：新兴风险** AI已走上战场。它从监控数据中识别目标，引导无人机突破干扰，并为指挥官提供打击建议。与对手保持同步的压力迫使军方将更多决策更快交给机器。风险在于战争升级速度超出人类跟进能力，且无人真正为机器做出的选择负责。 ### 速度为何是危险所在 军方采用AI是因为它快。它能在数秒内处理比分析员数日能处理更多的传感器数据。但速度带来自身压力：如果对手系统秒级响应，等待人类审议就显得软弱。随着时间推移，人类角色从制定决策，缩减到批准决策，再到橡皮图章式盖章。 AI也会以人类意想不到的方式失效，而人们往往信任表现自信的机器。在核大国间的危机中，一个误报被自动系统读取并未经人类深思就采取行动，可能引发无人选择的战争。 **最坏可能情形**两个拥有核武器的对手，都依赖AI系统探测威胁并推荐回应，在危机中相互误判。自动化系统相互反应的速度远超领导人对话速度。常规冲突升级，最坏情况下突破核门槛。无人决定发动核战争。它发生了，因为没人有时间决定不发动。 **应对措施**确保人类控制动武决定，特别是核武力。2024年11月，美中两国总统确认“有必要保持人类对使用核武器决定的控制权”。建立验证警报的时间缓冲，并维持危机热线畅通。联合国秘书长与红十字会呼吁制定具有约束力的自主武器条约；2026年11月，日内瓦会议的各国代表将决定是否启动谈判。 来源21 (https://airisk.thomasunise.com/#source-21)22 (https://airisk.thomasunise.com/#source-22)23 (https://airisk.thomasunise.com/#source-23)