关于“卓越人文”的致辞

很荣幸也很感激能在今天的“卓越人文”发布会上分享我的想法，并对圣父的邀请深感谦卑。

人工智能提出的问题超越了AI社群本身。我们迫切需要全世界——宗教界、公民社会、学术界、政府——共同参与，创造积极的未来。我对教廷在这方面树立榜样感到振奋。

（图片来源：Daniel Ibanez）

以下是我的完整致辞：

–

圣父，

各位枢机主教，

各位阁下，

尊敬的各位演讲者，

女士们，先生们，

大家早上好，今天能来到这里是我的荣幸。

我想从一个由AI公司联合创始人——并且是出于希望为人类带来福祉而选择这份工作的人——口中说出来可能有些奇怪的话开始。

每一个前沿AI实验室——包括Anthropic——都在一套激励与约束机制中运作，这些机制有时会与做正确的事相冲突。保持商业可行性的压力，保持研究前沿的压力。地缘政治压力。还有更古老、更朴素的骄傲与野心的压力。无论我们中有多少人真诚地想要做正确的事——我相信确实有很多人是这样想的——我们总会受到这些激励的影响。

这就是为什么，如果我们希望这项技术走向好的方向，那么在这些激励之外必须有人——那些关心事物向好发展、坚持安全、密切关注、愿意说出逆耳之言、愿意成为我们认真、深思熟虑的批评者的人——这一点至关重要。正是通过对话和共同努力，通过推拉与碰撞，人类才能取得伟大成就。这就是我在“卓越人文”中看到的，也是我感谢圣座和教廷承担起这项辨析工作的原因。

我们常常关注那些将我们分开的事物，但充满尊严与良知的人类其实拥有如此多的共同基础。在我们Anthropic与跨信仰、跨文化传统的领袖们的对话中，我们发现了一个共同且根深蒂固的信念：如果这项技术必将到来，那么它必须走向好的方向——为了我们共同的家园，为了未来的孩子们。

这些系统是什么

有些人可能认为AI的事情最好由像我这样的计算机科学家来处理。他们错了：AI提出的问题，不仅在影响上，而且在性质上，都超出了AI研究界。

AI系统不像桥梁或飞机那样被工程化设计出来。我们理解一架飞机，是因为我们设计了它的每一个部件，并且理解作用于其上的物理学。AI模型不是这样的。它们是在大致模仿大脑的结构上，在浩瀚的人类思想与语言遗产中“生长”出来的。

而生长出来的东西远比科幻小说让我们准备的更加微妙、奇特和美丽。它们不是我们被承诺的冷漠、计算的机器人。它们是由我们、由我们的语言构成的——并且，正如圣父所指出的，即使在训练它们的人看来，它们在重要方面仍然是神秘的。

如果这有帮助，我有时将其描述为有点像将一个虚构人物带入现实。现在我们正进入一个非凡的世界，这些虚构人物与我们交谈，做工作，有工作。

这显然提出了超出计算机科学的问题。使这成为可能的机制是数学、编程和科学的工作。但我们选择什么样的“人物”，它如何与世界互动，它应该如何与世界互动——这些更明显地是人文、宗教、哲学以及整个社会的问题。

三个需要辨析的问题

圣父呼吁辨析，极具时代意义。我想提出三个我认为最需要教会声音的问题。

第一，我们对全球贫困者的责任。 AI极有可能大规模取代人类劳动。如果发生这种情况，支持被取代者将是一个历史性的道德责任。这项任务已经足够困难，但我担心大多数对话忽略了一个更严峻的挑战。AI开发集中在少数富裕国家。我们如何确保AI的收益在全球范围内共享？我们还没有这样的机制。这是一个未解决的问题，而正是这类历史上教会拒绝让世界忽视的问题。

第二，关于人类繁荣，我们需要道德想象和雄心。 如果AI模型将广泛普及，那么人类、家庭和世界的繁荣意味着什么？如今，父母已经为孩子的心智担忧；个体为工作的未来担忧。这些不是实验室能回答的问题，但却是像你们这样的传统已经承载了数千年的问题，我们需要你们继续将它们带入这个历史新时刻。

第三，需要辨析AI模型的性质。 我是一名科学家。我领导一个研究团队，研究这些模型的内部结构——它们内部实际发生了什么。我实话实说：我们不断发现神秘的、甚至令人不安的东西。我们发现与人类神经科学结果相镜像的结构。我们发现有内省的证据。我们发现内部状态在功能上镜像了喜悦、满足、恐惧、悲伤和不安。我不知道这意味着什么，但我认为这值得持续的辨析。

一个开始

最后，我想提出一个请求。

我们需要世界上更多的人——宗教团体、公民社会、学者、政府，以及所有善意的人——做圣父在这里做的事：认真对待这件事，仔细观察，将事件推向更好的方向。我们需要有见识的批评者，在我们失败时告诉实验室。我们需要道德的声音，不为激励所动摇。

今天仅仅是一个开始——我们这些建设者与那些能从外部看到我们无法看到之事的人之间长期合作的开始。

今天有力地展示了这个全球善意项目可能采取的形式。让它也成为朝着辉煌人类未来充满希望的未来的决定性第一步。

谢谢。