超级智能：吞噬聪明人的想法（2016）

# 吞噬聪明人的想法 来源: https://idlewords.com/talks/superintelligence.htm 这是我在2016年10月29日于 Web Camp Zagreb ([https://2016.webcampzg.org/](https://2016.webcampzg.org/)) 所做的演讲的文字版，视频 ([https://www.youtube.com/watch?v=kErHiET5YPw](https://www.youtube.com/watch?v=kErHiET5YPw)) (45分钟) [](https://static.pinboard.in/si/si.001.jpg) ## 超级智能 [](https://static.pinboard.in/si/si.002.jpg) 1945年，当美国物理学家准备试验原子弹时，有人突然想到一个问题：这样的试验会不会点燃大气层？ 这是一个合理的担忧。构成大气主要成分的氮气在能量上并不稳定。如果把两个氮原子足够用力地挤在一起，它们会结合成一个镁原子、一个α粒子，并释放出大量能量： N14 + N14 ⇒ Mg24 + α + 17.7 MeV 关键问题是这个反应是否能够自我持续。核火球内部的温度将比地球历史上任何事件都要高。我们是否会像把火柴扔进一堆干树叶一样？ 洛斯阿拉莫斯的物理学家们进行了分析，得出的结论是存在令人满意的安全裕度。既然我们今天都还能参加这个会议，就知道他们是对的。他们对自己的预测有信心，因为支配核反应的定律是直接且相当清楚的。 [](https://static.pinboard.in/si/si.004.jpg) 今天我们正在建造另一项改变世界的技术：机器智能。我们知道它将以深远的方式影响世界，改变经济的运行方式，并产生我们无法预测的连锁反应。 但还存在一种失控反应的风险：机器智能在极短时间内达到并超越人类智能水平。 到那时，社会和经济问题将是我们最不担心的。任何超智能机器（该论点认为）都会有自己的超目标，并通过操纵人类，或干脆把我们的身体当作方便的来源原材料来实现这些目标。 去年，哲学家尼克·博斯特罗姆出版了《超级智能》([http://www.powells.com/book/superintelligence-paths-dangers-strategies-9780199678112](http://www.powells.com/book/superintelligence-paths-dangers-strategies-9780199678112))，该书综合了对人工智能的警告观点，并论证了这种智能爆发既危险又不可避免，前提是一系列适度的假设。 控制世界的计算机是科幻小说的常见套路。但足够多的人认真对待这种情景，以至于我们必须认真对待他们。斯蒂芬·霍金([http://www.independent.co.uk/news/people/stephen-hawking-artificial-intelligence-diaster-human-history-leverhulme-centre-cambridge-a7371106.html](http://www.independent.co.uk/news/people/stephen-hawking-artificial-intelligence-diaster-human-history-leverhulme-centre-cambridge-a7371106.html))、埃隆·马斯克，以及一大批硅谷投资者和亿万富翁都认为这个论点有说服力。 让我先列出博斯特罗姆论证所需的前提： ## 前提条件 [](https://static.pinboard.in/si/si.006.jpg) ### 前提1：概念证明 第一个前提是一个简单的观察：思考的心灵是存在的。 我们每个人肩膀上扛着一小盒思考的肉。我在用它做演讲，你们在用它听。有时，当条件合适时，这些心灵能够进行理性思考。 所以我们在原则上是知道这是可能的。 [](https://static.pinboard.in/si/si.007.jpg) ### 前提2：没有量子把戏 第二个前提是大脑是物质的普通构型，尽管极其复杂。如果我们知道得足够多，并且拥有技术，我们就可以精确复制它的结构，并用电子元件模拟其行为，就像今天我们能够模拟非常基础的神经解剖学([https://en.wikipedia.org/wiki/OpenWorm](https://en.wikipedia.org/wiki/OpenWorm))一样。 换句话说，这是心灵源于普通物理的前提。有些人如罗杰·彭罗斯会反对这个论点，认为大脑中在量子层面([https://www.sciencedaily.com/releases/2014/01/140116085105.htm](https://www.sciencedaily.com/releases/2014/01/140116085105.htm))有额外的活动。 如果你非常虔诚，你可能认为没有灵魂的大脑是不可能的。 但对大多数人来说，这是一个容易接受的前提。 [](https://static.pinboard.in/si/si.008.jpg) ### 前提3：存在许多可能的心灵 第三个前提是所有可能的心灵的空间很大。 我们的智力水平、认知速度、一系列偏见等不是预先确定的，而是我们进化史的产物。 特别是，没有物理定律将智力上限设定在人类的水平上。 [](https://static.pinboard.in/si/si.009.jpg) 一个很好的思考方式是看看自然界在最大化速度时的结果。 如果你在前工业时代遇到一只猎豹（并且幸存下来），你可能认为没有什么能跑得更快了。 [](https://static.pinboard.in/si/si.010.jpg) 但我们当然知道有各种各样的物质构型，比如摩托车，比猎豹更快，甚至看起来更酷一点。 但并没有直接的进化路径通往摩托车。进化必须先造出人类，然后人类再制造各种有用的东西。 因此，类似地，可能存在比我们聪明得多的心灵，但地球上进化无法达到它们。我们有可能建造它们，或者发明能发明机器的机器，而后者又能建造它们。 智力很可能存在某种自然极限，但没有*先验*理由认为我们接近那个极限。也许一个心灵最聪明时是人类的兩倍，也许是六万倍。 这是一个我们不知道如何回答的经验问题。 [](https://static.pinboard.in/si/si.011.jpg) ### 前提4：上方仍有广阔空间 第四个前提是计算机仍有很大空间变得更小更快。 如果你昨晚看了苹果发布会[苹果推出2016年笔记本电脑]，你可能会认为摩尔定律正在放缓。但这个前提只要求你相信更小更快的硬件在原则上是可能的，还能再降几个数量级。 我们从理论上知道，计算的物理极限很高([https://en.wikipedia.org/wiki/Limits_to_computation](https://en.wikipedia.org/wiki/Limits_to_computation))。因此，在撞上某种基本物理极限（而非摩尔定律的经济或政治极限）之前，我们还可以持续翻倍几十年。 [](https://static.pinboard.in/si/si.012.jpg) ### 前提5：计算机般的时间尺度 倒数第二个前提是，如果我们创造出一个人工智能，无论是模拟的人类大脑还是从头开始编写的软件，它将以电子硬件特有的时间尺度（微秒）运行，而不是人类大脑的小时尺度。 为了能够做这个演讲，我必须出生、长大、上学、上大学、生活一段时间、飞到这里等等。这花了好多年。计算机的工作速度可以快数万倍。 特别是，你必须相信一个电子心灵可以重新设计自己（或它运行的硬件），然后迁移到新的配置，而不必以人类的时间尺度重新学习一切，与人类导师进行长对话，上大学，通过上绘画课来寻找自我等等。 [](https://static.pinboard.in/si/si.013.jpg) ### 前提6：递归自我改进 最后一个前提是我最喜欢的，因为它是最不加掩饰的美国式前提（这是托尼·罗宾斯，一位著名的励志演说家）。 根据这个前提，无论一个人工智能的目标是什么（它们可能非常奇怪、异类），它都会想要改进自己。它想成为一个更好的人工智能。 所以它会发现递归地重新设计和改进自己的系统是有用的，以使自己更聪明，也许还能住在一个更酷的机箱里。 而根据时间尺度前提，这种递归自我改进可能会发生得非常快。 [](https://static.pinboard.in/si/si.014.jpg) ### 结论：RAAAAAAR！ 如果你接受所有这些前提，得到的就是灾难！ 因为在某个时刻，随着计算机越来越快，我们编程让它们越来越智能，将会出现类似爆炸的失控效应。 一旦计算机达到人类智力水平，它就不再需要人类的帮助来设计更好的版本。相反，它将以快得多的时间尺度开始自己进行，并且不会停止，直到达到一个自然极限，这个极限可能比人类智力高出很多倍。 到那时，这个怪物般的智力生物，通过狡猾地模拟我们的情感和智力，将能够说服我们做事情，比如给它工厂的访问权限，合成定制DNA，或者干脆让它连接到互联网，在那里它可以黑进任何它喜欢的东西，并在论坛上彻底碾压所有人的争论。 从那里开始，事情很快就会变得非常科幻。 [](https://static.pinboard.in/si/si.015.jpg) 让我们想象一个具体的情景。假设我想造一个机器人来说有趣的话。 我加入了一个团队，每天我们重新设计软件，编译它，然后机器人给我们讲一个笑话。 一开始，机器人几乎不好笑。它处于人类能力的下限： > 什么东西是灰色的而且不会游泳？一座城堡。 但我们坚持不懈，努力工作，最终我们让机器人讲出的笑话开始有点好笑了： > 我告诉我妹妹她眉毛画得太高了。她看起来很惊讶。 此时，机器也变得更聪明了，并参与到自己的重新设计中。 它现在对什么好笑什么不好笑有很好的直觉，所以设计师听取它的建议。最终它达到接近超人的水平，比周围任何一个人类都有趣。 > 我的腰带撑起我的裤子，而我的裤子有腰带环撑起我的腰带。下面到底发生了什么？谁是真正的英雄？ 这就是失控效应开始的地方。研究人员周末回家，机器人决定反复重新编译自己，让自己变得稍微更有趣、更聪明一点。 它花了整个周末一遍又一遍地优化自己擅长优化的部分。不再需要人类帮助，它可以在硬件允许的速度下进行。 [](https://static.pinboard.in/si/si.019.jpg) 当研究人员周一回来时，人工智能已经变得比任何曾经活着的人类有趣数万倍。它用一个笑话迎接他们，他们笑死了。 事实上，任何试图与机器人交流的人都笑死了，就像巨蟒剧团的短剧一样。人类物种笑到了灭绝。 对于少数设法向它发送信息请求它停止的人，人工智能解释（以一种机智、自嘲但立即致命的方式）它并不真正在意人类是死是活，它的目标只是搞笑。 最后，在毁灭人类之后，人工智能建造了宇宙飞船和纳米火箭，探索银河系最远的角落，并寻找其他物种来取乐。 [](http://pbfcomics.com/115/) 这个情景是对博斯特罗姆论点的夸张模仿，因为我并不是想说服你相信它，而是想让你对它产生免疫。 这是同一想法的PBF漫画([http://pbfcomics.com/115/](http://pbfcomics.com/115/))。你看，那个被编程要拥抱世界的拥抱机器人，找到了一种办法，将核引力超晶体连接到它的拥抱电容器上，然后摧毁了地球。 [](https://static.pinboard.in/si/si.021.jpg) 注意在这些情景中，人工智能默认是邪恶的，就像外星行星上的植物默认可能有毒一样。如果没有仔细调整，人工智能的动机或价值观没有理由与我们的相似。 该论点认为，要让一个人工心灵拥有任何类似人类价值体系的东西，我们必须将这些信念融入设计之中。 人工智能警报者喜欢纸夹最大化器，一个运行纸夹工厂的假设计算机，它变得有知觉，递归自我改进到神一般的威力，然后将所有能量用于用纸夹填满宇宙。 它消灭人类不是因为邪恶，而是因为我们的血液中含有铁，而铁可以更好地用于制作纸夹。 因此，如果我们只是构建人工智能而不调整其价值观，该论点认为，它要做的第一件事就是毁灭人类。 关于这种接管如何发生，有很多生动的语言。尼克·博斯特罗姆想象了一个情景，一个程序变得有知觉，正在等待时机，并秘密构建了微小的DNA复制器。然后，当它准备好时： > 生产神经毒气或目标搜寻式蚊子大小的导弹的纳米工厂可能会同时从全球每一平方米冒出。那将是人类的终结。 所以这有点吓人！ 摆脱这种混乱的唯一方法是设计一个道德固定点，这样即使经过成千上万次自我改进循环，人工智能的价值体系仍然稳定，并且它的价值观是诸如“帮助人们”、“不杀人”、“倾听人们想要什么”之类的事情。 基本上就是“按我的意思做”。 这里有一个来自埃利泽·尤德科夫斯基的非常诗意的例子，关于我们应该教给人工智能的优秀美国价值观： > 连贯外推意志（CEV）是我们的愿望，如果知道得更多、思考更快、更像是我们希望成为的人、一起成长得更远；在外推趋于收敛而非发散的地方，我们的愿望相互协调而非干扰；按照我们希望被外推的方式外推，按照我们希望被解释的方式解释。 作为设计文档，这如何？现在去写代码吧。 [](https://static.pinboard.in/si/si.022.jpg) 希望你能看出这种人工智能愿景与民间传说中精灵的相似之处。人工智能无所不能，给你你要求的东西，但以超级字面的方式解释一切，最终让你后悔。 这不是因为精灵愚蠢（它是超智能的！）或恶意，而是因为作为人类，你对心灵如何运作做了太多假设。人类价值体系是独特的，需要被明确地定义并设计到任何“友好”机器中。 这样做相当于20世纪初试图将数学形式化并建立在严格逻辑基础上的伦理版本。而这个计划在数理逻辑中以灾难告终([https://en.wikipedia.org/wiki/Foundations_of_mathematics#Foundational_crisis](https://en.wikipedia.org/wiki/Foundations_of_mathematics#Foundational_crisis))，这一点却从未被提及。 [](https://static.pinboard.in/si/si.023.jpg) 二十多岁时，我住在佛蒙特州，一个偏远乡村州。很多次，我在晚班飞机上出差回来，必须开车一小时穿过黑暗的森林回家。 我会听阿特·贝尔([https://en.wikipedia.org/wiki/Art_Bell](https://en.wikipedia.org/wiki/Art_Bell))主持的深夜广播节目，他有一个通宵脱口秀，采访各种阴谋论者和边缘思想家。 我到家时完全被吓坏了，或者会在路灯下停车，确信UFO即将绑架我。我发现自己是一个极其容易被说服的人。 读这些人工智能情景时，我的感觉是一样的。 因此，几年后我读到斯科特·亚历山大关于他所谓的**认知习得性无助([http://squid314.livejournal.com/350090.html](http://squid314.livejournal.com/350090.html))**的文章时，我非常高兴。 认识论是一个大词，但它的意思只是“你如何知道你所知道的是真的？”。亚历山大注意到，年轻时，他会被他读到的各种疯子的“另类”历史所迷惑。他会读那个历史……