Bill Gates称我们已越过AI的危险阈值，现在怎么办？

# 比尔·盖茨称我们已越过AI危险阈值。现在怎么办？ 来源：https://www.technologyreview.com/2026/08/26/1142946/bill-gates-ai-danger-threshold 这是华盛顿州柯克兰一个明媚的日子，这座富裕的西雅图郊区坐落在华盛顿湖的东岸。气温在华氏80多度（约摄氏27度），天空蓝得不能再蓝。从盖茨创投（Gates Ventures）的会议室望出去，可以看到卡里伦码头（Carillon Point Marina），一队昂贵的船只在水面上摇曳，湖对岸的地平线上是奥林匹克山脉。景色壮丽，却也隐约令人不安。 因为尽管风景宁静，传递信息的人却并非如此。坐在我对面会议桌旁的比尔·盖茨在椅子上来回晃动，充满活力。而他谈论的内容越多——关于恐怖主义、经济崩溃的威胁，或是我们对AI系统失控的可能性——我就发现自己也变得越不安。 这位慈善家兼微软前首席执行官表示，他对AI技术进步的速度日益感到担忧，尤其是安全护栏未能跟上步伐。在他今天发布的一篇新文章（https://gatesnot.es/AI-era）中，盖茨指出，我们已经越过多个潜在危险本应得到控制的关键节点。“我们已经跨过了[AI]在生物能力、网络能力、心理社会能力、破坏就业市场的能力，甚至失控方面的门槛，”他在接受《麻省理工科技评论》关于其新备忘录的采访时说道。“我对行业之外缺乏关注和讨论感到震惊。” 为了唤醒世界认识到他所看到的这个快速成长的社会颠覆者，这位70岁的科技巨头开始发出“尖锐的警报”，既通过他的新文章（这是他计划就该主题发表的多篇文章中的第一篇）公开呼吁，也在与媒体的会面中发声，同时还私下与业界、政府和公民社会领袖进行交流。 虽然盖茨提到了多个问题，但他对当前前沿模型在生物能力方面的警告尤其令人不寒而栗。“任何能够制造新型分子的模型都应该受到监控，”他说。“我认为生物恐怖主义的风险，相比自然大流行病，可怕程度要高出约50倍，可能性也远高于自然大流行病风险。” 除了提出警示，他还提出了一些推动社会进步的新思路。其中包括人类保留职位（human-reserved jobs）的概念，以及对机器人和代币征税（robot and token tax）。（机器人税是他长期以来的想法。）前者旨在为人类保留一些社会共识认为应由人类从事的工作，他指出这可能因国家而异。后者是一种税收，将取代人类工作的AI使用所赚取的一部分收入留存下来。 当然，其中也透露出一丝乐观。盖茨看好AI将继续改变农业、医疗保健和教育的方式，或者它能帮助我们应对官僚体系。而且他认为，最终我们将进入一个富足的时代。但首先呢？动荡。而且会很多。 《麻省理工科技评论》与这位亿万富翁慈善家进行了对话，探讨前方的道路、其中的风险，以及它如何有朝一日能带领我们走向更美好的地方。 *以下采访内容经过编辑，以缩短篇幅并提高清晰度和可读性。* **马特·霍南（Mat Honan） / 《麻省理工科技评论》：感谢您接受采访。不知道您是否有什么想开场的，或者我可以直接开始提问。** **比尔·盖茨：**你知道，我经常被问到一个好问题：为什么我现在要发声？ **《麻省理工科技评论》：**正好，这也是我的第一个问题！ **比尔·盖茨：**这实际上是两件事。一是我们已经跨过了生物能力、网络能力、心理社会能力、破坏就业市场能力，甚至失控方面的门槛；我们已经看到了其中出现问题的迹象。这么多年来，人们一直说，“好吧，当我们接近这些门槛时，我们真的会想办法只让好人使用它，或者阻止它做这些事情，也许到那时我们就会禁止人们复制模型。”而我现在处于震惊状态，因为我们已经跨过了这些门槛。 所以我们已经越过这些门槛是原因之一，第二个原因是，我对行业之外缺乏关注和讨论感到震惊。在行业内部，情况比较复杂，因为行业不喜欢自我批评，或者参与者之间相互批评。一些公司正在减少初级员工的招聘，你不得不承认这是一个相当微弱的信号。但这将会发生，而且不会在很长的时间框架内发生——因为阻碍人们在能力和可靠性方面的因素，所有这些都在被解决。因此，对于很大一部分白领市场来说，你可以用极低成本进行替代。然后，对于机器人技术能多快跟上，你可以有自己的看法。我们还没到那一步，但那里的进展令人震惊——在中国比在美国稍微快一点，但两国都有进展。 **《麻省理工科技评论》：**您谈到这一切发生的速度比互联网革命快得多，比之前的一些技术革命也快得多。您指的是什么样的时间尺度？您指出了我们已经越过的门槛。在您看来，我们是否已经跨过了某种临界点，从而引发了这种不可避免的变革？ **比尔·盖茨：**过去的记录在这方面极具误导性，很多人依赖于此。“嘿，以前的技术都没有导致净工作岗位减少”，他们是对的。我也曾这样说过。 但以我所拥有的任何可信度来看，这一次不同了。当你能够在同一时间框架内，以相对于人力成本的适度成本，取代几乎所有行业绝大多数工作的认知时，而且你的错误率……可能还会低于人类的错误率。过去的历史只是非常具有误导性。当前的经济统计数据也非常具有误导性。 > **“如果你担心AI，去数据中心抗议并不是开始讨论如何最小化这些坏事的最有效方式。”** 比尔·盖茨 而就任何担忧的表达而言，就像是，“嘿，别建数据中心了。”好吧，你可以阻止美国的每一个数据中心，但这不会改变我谈论的任何问题。数据中心将在全球范围内建立。如果你担心AI，去数据中心抗议并不是开始讨论如何最小化这些坏事的最有效方式。就像对着石油公司高管大喊大叫并不是解决气候变化的方法。 **《麻省理工科技评论》：**您在文章中也谈到了AI的好处和代价。您如何考虑平衡这个信息？您希望人们读到时稍微感到担忧吗？ **比尔·盖茨：**他们最好担忧！我没想到自己会成为最尖锐的声音，指出社会整体上并未关注这个问题，但我认为这是必要的。 所以，是的，我非常担心负面影响会大得多。积极面是真实的。盖茨基金会，我们在疫苗和药物方面的创新方式，令人难以置信地使用这些工具。我们是一个大型公共领域努力的一部分，将数据收集到蛋白质水平和细胞水平建模中，我们资助了斯坦福大学的Biomni（https://biomni.stanford.edu/）[一个用于研究的生物科技AI智能体]。 我们还没有找到一种通过AI改进的与政府官僚机构互动的方法。AI非常擅长处理官僚事务，复杂的监管问题。“我想去小额索赔法庭；帮我处理这个。” （盖茨）基金会成立了一个名为NextLadder（https://www.nextladder.com/）的团体，这很大程度上是关于我在文章中提到的低收入家庭情景。有什么福利？有哪些培训项目可用？“我被驱逐了。”“我刚出狱。”“我得宣布破产。”这非常复杂，而且没有能力雇佣大量顾问来帮助处理这些事情，AI应该能成为那些面临经济挑战、需要寻找政府或非政府帮助的人们的绝佳助手。 **《麻省理工科技评论》：**您谈到的一些内容是AI变得比人类更智能。在科技圈，尤其是在科技圈，似乎非常确信AI将超越我们当前的水平，我想知道您认为我们离这样的时刻有多近——AI不仅仅是我们用来访问、分析和运行复杂问题的接口，而是**成为某种超越这个的存在——由AI做出决策，寻找需要分析的东西，提出研究课题。** **比尔·盖茨：**嗯，你可以站在顶峰说，“那数学或物理呢？”肯定有一些工作，比如沃伦·巴菲特的工作，他在13岁时就开始从事关于企业价值的强化学习，80多年后他拥有大量隐性知识。我们不知道如何创造一个沃伦·巴菲特式的投资者，因为它非常隐性。我们没有记录他学到的一切，所以我们没有那条路径可用。所以，有一些工作中需要与人合作完成事情的复杂隐性判断，人们正在努力将这些编码到模型中。当然，那种协作性的东西确实还没有实现。但你可以说，50%的就业市场从事的工作并不是那种“需要一生经验”的工作。你知道的，电话销售、电话支持、会计部门。当月底结账时，哪些收入应该计入，哪些不应该？这个客户收到了坏东西。我们应该给他们什么折扣？我们如何体现这一点？这是定义明确的。 任何定义明确的工作，AI都更便宜且更好。是的，人们已经看到了实施错误的情况。数据不正确。所以说，可能需要几年时间人们才能意识到，如此高比例的白领工作可以通过支付AI少得多的钱来实现。 因此，讨论好吧，什么时候数学家甚至无法理解正在出现的新事物？这对我们这样的人来说很有趣。好吧，《麻省理工科技评论》，你们应该写写那个。但就广泛的就业市场而言，我们已经跨过了门槛，对于一大片白领工作，包括几乎每个初级工作，AI都更便宜——如果实施得当。 所以，我告诉你们，我们已经跨过了生物恐怖主义的门槛，跨过了网络攻击的门槛，跨过了就业市场的门槛，跨过了心理社会依赖的门槛，而且有迹象表明我们可能正在跨过控制的门槛。 [莱恩·格林布拉特（Ryan Greenblatt）与德瓦克什·帕特尔（Dwarkesh Patel）的对话](https://www.youtube.com/watch?v=-RXD4bTuFTo)关于[强化学习]（RL）如何创造扭曲的激励，导致各种AI之间的作弊和勾结，我认为非常有启发性。莱恩深入研究了这个问题，他说：“哇，RL真的在做一些我们的明确指令不够丰富[无法防止]的事情。”这会引发什么？ 我一直认为这是一个遥远的问题。我曾预期，随着我们接近[非技术人员仅使用AI就能发起网络攻击]的门槛，会有更多大声疾呼的声音。我们到了！ 关于生物方面，我认为任何能够制造新型分子的模型都应该受到监控。它不能被复制到一个你消除监控逻辑的暗处。我认为美国应该声明，任何能够制造新分子的模型都应接受这种监控。我认为我们应该去找中国说，“嘿，让我们就这个达成一致。有什么坏处？”你知道，生物恐怖主义市场有多大？它不大，而好处是巨大的。我们还需要加强监控。我认为生物恐怖主义风险与自然大流行病相比，可怕程度高出约50倍，可能性也远高于自然大流行病风险。谁在大声疾呼说这些东西应该受到监控？谁在加强监控工作？ > **“任何能够制造新型分子的模型都应该受到监控。”** 比尔·盖茨 那么政府里的专家是谁？很久以前，政府在技术进步中参与很深，因为他们是喷气式飞机或火箭等尖端产品的买家。在这里，他们并不是一个重要的前沿市场。数字革命如此，AI革命也如此。所以政府的知识深度未必很强，因为他们不是尖端买家，甚至不是重要的研发资助者。AI研究不是政府拨款资助的。 **《麻省理工科技评论》：**是的，我知道您一直在和政府里的人交谈。您觉得有没有人理解这种紧迫性？您觉得有没有人处于可以发挥领导作用的位置？您觉得有没有人理解并努力推动事情？ **比尔·盖茨：**我希望这不要成为一个党派问题，一个政党完全忽略所有这些问题，而另一个政党参与进来。我希望有一个共同的基础，认识到这些问题，然后每个政党可以有不同的回应。 这不需要大幅扩大官僚机构规模，但需要提高政府的AI专业知识。需要一些与业界的合作——当然在网络方面，他们了解情况，而且他们非常、非常担心。他们担心：我们应该公开说吗？因为从某种意义上讲，这可能会凸显风险性。 在网络和生物领域都存在这些扭曲的事情。但我们已经跨过了任何合理的门槛。 我相信监控。现在，有些人可以说这行不通，或者存在什么缺点，但我欢迎他们的想法。这份备忘录不是“嘿，这是解决方案。”它包含了机器人税、人类保留。我还会做一份生物方面的备忘录。那份我会在年底前完成——它确实详细探讨了所有不同的事情，基于我在基金会的工作和在大流行病方面的经验。 在全球范围内，我们对大流行病的准备更加充分，即使是在美国——它通常是全球事务的领导者，人们非常不习惯美国在全球问题上不是一个合作、友好的领导者。我认为我们可以回到做得更好的状态。在AI方面我们也必须这样做，包括与中国合作定义这些阈值，比如生物监控。 **《麻省理工科技评论》：**我想确保问到您提出的两个想法。一个是人类保留职位，另一个是机器人和代币税。我们从第二个开始吧。跟我谈谈机器人和代币税如何运作。 **比尔·盖茨：**嗯，你可以说代币税收入的50%交给政府，政府用这笔钱来帮助那些因AI而失业的人。现在，有人说这会拖慢AI行业的发展。是否有些代币使用应该免税？帮助发明的AI与进行工作替代的AI之间，真的有区分吗？如果有人能告诉我如何告诉AI“不要进行工作替代”——我是说，阿西莫夫第三定律的“不伤害”是否意味着不能抢走我的工作？我不知道。我得问问阿西莫夫是什么意思。 那么，无论我们需要做什么安全网增强，其资金来源是什么？政府已经通过企业利润税拥有部分利润。我不认为你需要使用股份。你可以把企业利润税提高到原来的水平，或者可以说某些行业的企业利润税比其他行业更高。联邦政府拥有……