「注意力」是智能的本质吗？

# “注意力”是智能的本质吗？| Quanta Magazine 来源：https://www.quantamagazine.org/is-attention-the-essence-of-intelligence-20261012/ Qualia：好奇心引领之处，皆为文章所至 自 2022 年 ChatGPT 发布以来席卷全球的一切——"AI 经济"、数据中心、充当好朋友、医生和数学家的聊天机器人、关于存在性风险的讨论——在某种意义上，都始于蒙特利尔大学一间实验室里一位名叫 Dzmitry Bahdanau 的实习生。 那是 2014 年。这位 23 岁的白俄罗斯人从小就参加编程竞赛，但此前从未做过学术研究。他被要求协助研究如何让计算机把句子从英语翻译成法语。Bahdanau 当时正在使用人工神经网络，这种网络已经在模式识别任务中展现出前景，例如识别手写体和辨认照片中的物体。神经网络通过响应训练数据来加强或削弱节点之间的连接，从而学会识别模式。Bahdanau 私下里对其能否实现接近人类水平的智能心存疑虑，但他的导师、计算机科学家 Yoshua Bengio，以及该项目的博士后 Kyunghyun Cho 都是坚定的信奉者。而翻译在当时被普遍视为神经网络需要攻克的一个艰巨且有趣的难题。 翻译并非简单地把每个英语单词换成法语单词。不同的语言有着不同的语法结构，且充满习语和言外之意，这些长期以来一直阻碍着翻译自动化的尝试。你无法简单地实现翻译规则，因为根本不存在这样的规则。但神经网络之所以被认为有希望，是因为它们通过示例来学习。它们可以在庞大的英法对照句子数据库上进行训练，最终吸收那些准规则、例外情况和细微差别。 然而，之前的结果并不理想；句子越长，神经网络的表现就越差。这是因为研究者试图将每个句子的所有信息塞入固定大小的内存中，然后再解码为目标语言。这是一个瓶颈，限制了翻译的复杂性和精细程度。网络架构本身就不对。 于是 Bahdanau 尝试了一种不同的方法。"这显然是正确的事——在科学中偶尔会发生这样的事，一个并非该领域专家的人也能一眼看出其中的道理，"他在蒙特利尔接受我采访时回忆道，如今他仍在那里从事 AI 工作。"而且它确实管用。从第一次尝试就成功了。" Bahdanau 的技巧——一种他、Cho 和 Bengio 称之为"注意力"的数学运算——使他们的神经网络能够像翻译短句一样出色地翻译长句（https://arxiv.org/abs/1409.0473）。这意味着该方法是可扩展的。当时其他 AI 研究者迅速将注意力机制整合到自己的神经网络设计中。随后在 2017 年，Google 的一个团队设计出一种新型神经网络架构——Transformer，它极大地增强了注意力方法，并去除了其余一切。该团队的论文《Attention Is All You Need（https://arxiv.org/abs/1706.03762）》报告称，Transformer 在翻译任务上达到了最先进的水平，而所需的计算量仅为训练之前模型的一小部分。这篇此后被引用超过 25 万次的论文，是 AI 发展的一个分水岭时刻。ChatGPT 和 Claude 等大语言模型由此而生。 面对如此惊人的力量，值得追问的是：这个注意力机制*究竟是什么*，为什么它是"你所需要的一切"，以及为什么机器翻译是解锁这一切的任务。注意力机制是我们理解一个 AI 模型如何能与我们对话、诊断疾病、生成逼真的视频、解决长期悬而未决的数学问题（https://www.quantamagazine.org/ai-has-solved-one-of-maths-1-million-millennium-prize-problems-20260908/）等等的一把钥匙。它是否在某种意义上处于智能——无论是人工智能还是其他智能——的核心？ 含有"it"等代词的句子就说明了注意力所克服的挑战。试看："The animal didn't cross the street because it was too tired."（动物没有过马路，因为它太累了。）以及："The animal didn't cross the street because it was too wide."（动物没有过马路，因为它太宽了。）要将这些句子正确翻译成法语，AI 模型必须确定：在第一句中，"it"指的是"动物"，而"动物"在法语中是阳性名词，所以翻译时应使用阳性代词*il*。但在第二句中，"it"指的是"街道"，一个阴性名词，需要不同的代词*elle*。机器如何弄清楚这一点？ Bahdanau 回想起在学校学英语时做的翻译练习。为了写出翻译句子的每个下一个词，他必须来回扫视源文本，以确定接下来该写什么。"字面上就是你的源句在左边，你的译文在右边，然后你会不停地转头，左、右、左、右，"他说。"那个过程就是我用神经机制来表达的东西。"他赋予神经网络的注意力工具，是一种数学方法，使网络能够在句子中的任何位置识别出那些最能为翻译的下一个词提供信息的单词。对于我们的歧义代词"it"，系统会在句子的其余部分中搜索，以确定哪些单词对它的含义影响最大。 Transformer 由多层节点组成，每层节点与相邻层的节点相连。当一个句子输入 Transformer 时，每个词首先被转换成一个称为向量的数值表示，我们可以把它想象成一个指向某个方向的箭头。这些向量穿过网络，而称为权重的数值（由模型的训练决定）决定了它们在每一层中如何被变换。权重将每个词当前的向量表示转换为三个特定于该词的新向量——"查询（query）"、"键（key）"和"值（value）"——它们在注意力运算中各有不同的作用。 网络通过称为注意力头（attention head）的系统并行执行此运算多次。一个注意力头将每个词的查询与句子中所有其他词的键进行比较。这些向量匹配的程度——它们在多大程度上指向相同的方向——决定了句子中其他每个词的值在多大程度上贡献于该词新的更新后的向量。关于句子中其他词的信息字面上就被融入了每个词的表示之中。该系统正在将上下文转化为数学。 当"Animal didn't cross the street because it was too tired"输入 Transformer 时，网络中第一组层——称为编码器（encoder）——使用注意力运算来构建对句子的上下文理解。在每一层中，每个注意力头为"it"生成一个查询（连同一个键和一个值）。这个查询向量可以被视为一个对句子中其他地方所存在信息的请求。例如，在一个深层中（在网络已经积累了关于词语的信息之后），"it"的查询可以被解读为："我需要一个前面的名词，它可能是那个感到疲倦的事物。"与此同时，与"animal"相关联的键可能有效地将自己呈现为一个可以感到疲倦的名词，除了许多其他特征之外。因此它的键比"street"的键更好地匹配了查询。这导致与"animal"相关联的值更多地贡献于"it"的更新后的表示。 那个新的、富含上下文的"it"的表示传入下一层。在那里，网络再次执行注意力运算。一轮又一轮的处理使词语对自身的表示越来越丰富。 专家们说，往往很难解读某个特定的注意力头在做什么，但它们共同捕捉了许多种关系，从名词和动词之间的搭配到生物与情感之间的关联。后面的层建立在前面层所确立的关联之上，因此当句子从编码器中输出时，"it"已经被赋予了某种类似意义的东西。 此后，Transformer 的第二部分——解码器（decoder）——逐词生成法语翻译，在决定下一个该输出哪个法语词时，利用注意力机制借鉴编码器对英语词的数值表示。编码在英语句子中的上下文信息帮助将"it"翻译为阳性代词*il*。 至关重要的是，没有人需要告诉 Transformer 动物会疲倦而街道可能很宽。神经网络在训练过程中从海量英法对照句子中发现此类关联。这些关联被构建到权重之中。网络最初以随机权重开始，产生无用的查询、键和值，因此翻译质量很差。但每次翻译错误都会通过网络向后传递一个修正信号，略微改变产生该错误的权重。通过数万亿次这样的调整，网络最终生成了有用的向量，从而产出正确的翻译，即使它处理的是从未见过的句子。 事实证明，注意力是连接词语和构建上下文的正确数学运算——这些都是翻译的基础。而当你能够翻译任意大小的文本块时，似乎你就无所不能了。 一个已经学会了足够多语言知识、能够将英语句子翻译成法语的神经网络，同样也能在两种语言中完成句子。换言之，预测翻译中下一个词，是更一般的"预测下一个词"任务的一个子任务。而这正是大语言模型所做的。它们在全部互联网内容上进行训练，学会在各种语境中哪些词应该关注哪些其他词。它们反复处理整个数据集，在训练过程中的任何时刻，针对其所在的网页片段，尝试数万亿次地预测下一个词。这些模型中神经元之间的连接被逐渐调整，以产生越来越有用的词间注意力模式——无论是在任何语境中预测下一个词，还是对人类的提示产生恰当的回应。 从翻译"it"这个代词的能力出发，我们不知怎么就引发了一场革命。 "这跨度相当大，不是吗？" Llion Jones 说道，他是《Attention Is All You Need》的作者之一，现任 Sakana AI 的首席技术官。 Jones 和其他人猜测，预测下一个词——被称为语言建模——是"AI 完全问题（AI-complete）"：一个如此困难的任务，以至于解决它意味着你在某种意义上已经解决了整个 AI 问题。它之所以可能是 AI 完全问题，是因为这个任务作为一个子任务，几乎涵盖了人类以书面形式所做的一切。"互联网上有翻译，" Jones 指出。"所以如果我说"'The animal didn't cross the street because it was too tired'的法语翻译是 \[空格\]'，那么为了完成这个句子，Transformer 必须能够翻译成法语。如果我说'2 + 3 = \[空格\]'，它必须会做算术。如果它看到一连串数学符号，想知道接下来是什么，它必须理解高等数学。如果我说'美国总统是 \[空格\]'，它必须了解事实。所以，能够预测下一个词要求你能够做到所有这些事情。而因为它是 AI 完全问题，语言建模可以说是我们目前拥有的最接近智能的定义。" 说大语言模型"知道"或"理解"任何东西可能不太恰当——不像人类那样——但这只是我们习惯用来描述它们所展现能力的方式。不管怎样，注意力是人工神经网络获取和传达意义、关联和上下文的工具，通常足以让我们为其流畅性而惊叹。（对于高等数学等任务，当今的前沿 AI 模型通常在其语言建模之上叠加了更显式的正式推理和证明验证系统来检查其工作。） 但人类智能呢？我们的大脑是否使用了类似 Bahdanau 所发明的数学运算的机制？毕竟，我们在说话、写作甚至思考时，也在做某种类似于"产出最佳的下一个词"的事情。也许我们的智能形式也等同于语言建模？ 认知科学家们已经开始研究这个问题——这是语言如何与思维相关联这一古老问题的新版本。诚然，大语言模型的成功表明，仅凭语言的统计模式就编码了大量关于世界的信息。问题是：当我们掌握了语言，智能是否就自然而然地来了？ 最近的研究（https://www.nature.com/articles/s41586-024-07522-w）说服了我，人类思维并非纯粹语言性的（而且大多数其他动物的智能根本不是语言性的）：当我们思考时，被激活的大脑区域不仅仅是大脑皮层中与语言相关的专门网络。语言是我们*交流*关于世界的工具，但我们的思维似乎依赖于感觉印象、身体和社会经历、记忆以及至少部分存在于大脑语言网络之外的推理能力（https://www.quantamagazine.org/the-polyglot-neuroscientist-resolving-how-the-brain-parses-language-20251205/）。因此，语言建模似乎只是人类认知的一个强大组成部分，而非其等价物或源头。 至于*我们*是如何做到"it"的——我如何瞬间理解是动物而不是街道感到疲倦——目前还没有人知道。就 Jones 而言，他现在认为注意力*并不是*真正掌握语言建模所需要的一切。毕竟，大脑显然比 Transformer 更高效地完成了这项任务。我们流利地交谈，却从未读完整个互联网，也无需消耗那么多能源。"当前的范式无法解决这个问题\["效率"\]，" Jones 说。"你似乎必须跳到某种非常、非常不同的东西。" 无论我们自身的神经机制是什么，事后看来，解决翻译问题解锁了 AI，这很有道理。无论你是人还是机器，有效翻译的能力意味着你在某种意义上已经理解了。而现在机器理解得如此之多——至少是有效地——以至于我们几乎不知道该如何思考了。