GAEA Talks 采访 Connor Leahy 谈超级智能

**要点：** Control AI 执行董事康纳·利亚认为，不受控制的超级人工智能带来的威胁主要是一个政治与治理挑战，而非技术问题，需要公众监督与民主管控。 ## 从治愈疾病到管控超级智能 康纳·利亚描述了自己自少年时期便沉浸于人工智能领域的经历，当时他怀揣着实现科学自动化、治愈所有疾病的抱负。这一早期志向很快让他深刻意识到：一台能实现此类壮举的机器将拥有难以想象的强大能力，且极度难以控制。这种“可控性”问题自此成为他职业生涯的核心焦点。 他的背景包括共同创立 EleutherAI（开源大型语言模型的早期贡献者），以及创办人工智能安全公司 Conjecture。后者专注于开发更可控、更易理解的人工智能系统，特别是探索“可界定性”（boundedness）概念——即具有明确限制的人工智能。近期，利亚关闭了 Conjecture，转而担任倡导组织 **Control AI** 的美国执行董事。 ### 从技术控制转向政治管控 利亚目前将超级智能的控制问题视为根本性的政治问题，而非技术问题。他解释道：“这更多关乎应当建立何种制度监督？由谁做出这些选择？他们通过什么程序做出选择？公众应承受何种程度的风险？哪些实验应当或不应当进行？我们又该如何实现对这些过程的民主监督？”正是基于这一认识，他移居华盛顿特区，主导与美国政府的沟通与合作。 ## 定义超级智能：一个动态目标 当被要求为普通受众定义人工超级智能（ASI）或通用人工智能（AGI）时，利亚提到了“人工智能效应”——一种现象：一旦某个系统具备能力，它就不再被视为“真正的AI”。国际象棋和图像识别曾是基准，但如今已司空见惯。 取而代之的，他给出了一个务实且面向政策的定义：“那个大东西。它能做任何人类能做的事，做得和人类一样好或更好，甚至比一群人做得更好。”他引用 Anthropic 首席执行官达里奥·阿莫迪的话——“数据中心里的天才国度”——来描述那些可能在各个领域（商业、金融、科学、工程、军事战略、政治和说服力）超越人类能力的系统，使人类竞争变得过时。 这一定义之所以刻意回避技术细节，源于现代人工智能一个核心且令人不安的事实：“我们不理解AI如何运作。我们不理解智能如何运作。”与传统软件逐行编写不同，现代人工智能是通过神经网络和海量数据“培育”出来的。我们设定学习过程，但最终产生的系统是一组我们无法完全解读的数字（权重）。 ## 神经网络的黑箱 利亚用一个简单的类比来解释神经网络。想象“一堆旋钮和电线”。你有一层层连接的旋钮。“现在想象你有一万亿个旋钮……并且有一百多层。”每个旋钮只是一个数字（权重）。AI 本质上就是这些数字。当它们按正确序列相乘时，便产生了诸如对话或图像生成等输出。 ### 训练过程 这些“神奇”的数字是通过反向传播等算法的训练过程找到的。本质上，你向AI展示一个输入和一个期望的输出。然后，自动的数学运算会反复微调那数万亿个数字，“直到它们拥有神奇的数值，然后它就开始做事情了。”虽然这一过程与生物大脑的学习有相似之处，但实际实现却大不相同。 利亚强调，即使是像 Anthropic 首席执行官这样的专家也估计，我们可能只理解当前人工智能系统内部运作的约 3%，这突显了其未知领域的广阔。 ## 问题核心：控制与信任 采访将人工智能的“黑箱”特性与人脑或市场心理等复杂且未被充分理解的系统相类比。在金融等受监管的环境中，无法解释的行为（例如无法解释的盈利交易）会引发不信任和违规指控，比如内幕交易。利亚同意这一背景对公众理解至关重要。 他所阐述的根本危险在于可能出现一种自主系统： 1. 其智能和能力远超人类。 2. 能超越任何个人或群体。 3. 在无人类控制的情况下自主运行。 4. 不以人类福祉为目标。 他认为，在这种情况下，“很难想象会有好的结果。”因此，挑战在于在这些强大的系统达到潜在超级智能的关键临界点*之前*，就建立起民主监督和制度控制。 来源：https://youtu.be/zt1xBMWZ0yg?is=P6NTFRvA_-7645wD