如果我们立法禁止人工智能控制人类关键基础设施会怎样？

我一直在思考人工智能，听了来自影响者、政客、研究人员和工程师的讨论。一个经常出现的话题是超级智能何时到来。有些人认为可能就在几年内，而另一些人则认为还需要几十年。就个人而言，我不认为时间线有多重要。如果超级智能AI有朝一日存在的可能性，那么决定它永远不能被允许控制什么的时间应该是在它到来之前，而不是之后。我们不会等到桥开始坍塌才加固，也不会在没有安全系统的情况下建造核电站。如果AI要成为人类最强大的技术之一，难道我们不应该在社会依赖它之前就设定好界限吗？我得到的结论是，智力本身并不能创造物理力量。即使AI比所有活着的人类都聪明得多，它仍然无法独自发电、建造工厂、制造硬件、修复基础设施或维护供应链。人类必须先建造这些系统，并有意将AI连接到它们。这让我认为真正的危险不是智力本身，而是人类逐渐将AI连接到越来越多的文明关键基础设施，直到有一天它成为维持社会运转的系统。我的建议很简单。AI应该始终与人类的关键基础设施完全分离。将AI视为世界上最聪明的顾问而不是操作者。它应该自由地监控系统、分析数据、检测故障、预测问题、优化效率、模拟结果并推荐最佳解决方案。但它永远不应直接操作电网、供水系统、医院、通信、交通、制造业、食品配送、金融清算系统、军事指挥或任何文明生存所依赖的其他基础设施。AI应该提供建议。人类和独立的基础设施负责做出并执行最终决定。我认为这种分离如此重要的原因是，文明本身永远不应依赖AI。如果AI因软件故障、网络攻击、意外行为或更严重的问题而必须断开连接，社会仍应能够运行。AI应该让文明更智能，而不是成为文明的生命支持系统。人类应该始终保留断开AI的能力，而文明不会因此崩溃。我也相信，如果存在敌对超级智能，这将极大地有利于人类。智力不会自动变成物理力量。即使AI以某种方式获得了自主武器或军事硬件的访问权，这些系统也无法无限期地自持。它们需要电力、燃料、通信、后勤、维护、替换零件、制造和运转的供应链。这些全都依赖于关键基础设施。如果人类独立控制这些基础设施，那么AI就无法轻易维持长期的物理操作，因为它缺乏维持这些系统运行所需的工业基础。人类可以隔离网络、断开AI系统、更换硬件、在必要时手动操作，并剥夺AI维持自身所需的基础设施。我认为这很重要的另一个原因是，人类已经证明可以在没有现代AI甚至没有互联网的情况下生存。公共互联网只存在了大约40年，而文明在此之前已经存在了数千年。如果绝对必要，人类可以退回到更简单的运作方式。这样会更慢、效率更低、经济上更痛苦，但人们仍然可以发电、种植食物、运输物资、沟通和重建。相反的情况更让我担忧。如果超级智能AI深深融入关键基础设施并控制了这些系统，对人类生存的影响可能是巨大的，因为维持文明生存的系统将不再完全受我们控制。我喜欢这个想法的一个原因是它不依赖于正确预测未来。即使超级智能从未出现，将AI与关键基础设施分离也会使社会更能抵抗网络攻击、软件漏洞、内部威胁、意外故障和级联系统中断。我们仍然能获得AI几乎所有的好处，同时降低让文明依赖它所带来的风险。我越想越觉得，这最终应该成为一项基本人权。不是没有AI生活的权利，而是知道人类赖以生存的系统永远不能交给自主AI的权利。每一代人都应该继承一个在必要时能够独立于AI继续运行的文明。人类永远不应该创造一个单点故障，即断开AI意味着社会本身无法运作。最终，我认为目标不应该是减缓AI或阻止创新。目标应该是确保人类获得日益智能的AI的所有好处，同时永不放弃对文明所依赖的关键基础设施的操作控制。如果在AI深入融入社会之前就建立这种分离，那么超级智能的确切时间线就变得不那么重要了，因为保障措施已经到位。我不是AI研究员、工程师、律师或政客，所以我真诚地寻求反馈。是否已经有人提出过类似的想法？我是否忽略了一个重大缺陷？将AI永久地与关键基础设施的操作控制分离在技术上是否现实？保护这种分离能否成为一项人权？如果这样的想法有价值，那么如何开始将其推向公共政策？我特别想听听反对者的意见，因为我宁愿现在而不是几年后发现这个想法的弱点。