现代人工智能背后的许多理念，早在杰弗里·辛顿1977年的博士论文中就已初具雏形。

在本文中，@programmingoce 探讨了辛顿在视觉、松弛法和不确定性推理方面的早期工作。

你将看到，像竞争性假设、分布式计算和优化这样的理念，是如何在数十年的AI研究中反复出现的。

https://freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/…

“松弛及其在视觉中的作用”：塑造现代人工智能研究的1977年博士论文

来源：https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/ “松弛及其在视觉中的作用”：塑造现代人工智能研究的1977年博士论文当人们想到杰弗里·辛顿时，通常会想到反向传播、玻尔兹曼机、深度信念网络，或者彻底改变人工智能的深度学习革命。

但很少有人会回溯到他的研究生涯起点。

1977年，在著名的反向传播论文发表近十年前，辛顿在爱丁堡大学完成了他的博士论文，题为“松弛及其在视觉中的作用“。乍一看，这似乎是一篇关于计算机视觉和松弛方法的论文。这正是我开始阅读时所期待的。

然而，当我仔细研读这篇论文时，我意识到它的意义远不止一个视觉算法。许多后来定义了辛顿研究的理念，当时已经初具雏形。术语不同，数学更简单，神经网络也尚未成为他工作的焦点。但同样的思维方式已经存在。

这篇评论并非对论文的逐章总结。相反，它聚焦于我阅读时注意到的突出理念，并探讨了其中许多理念如何出现在辛顿后来的工作中。其中一些理念已成为现代AI的核心，而另一些尽管在近五十年前就被讨论过，却仍然出人意料地被忽视。

回首过去，最让我印象深刻的并不是论文预测了具体的算法。而是它引入了一种关于智能、感知和计算的连贯思维方式，这种思维方式在之后的几十年里持续塑造着辛顿的研究。

我希望这篇评论能鼓励更多人阅读这篇非凡的论文，不仅仅是把它当作一份历史文献，而是作为人工智能领域最具影响力的研究旅程之一的起点。

论文概述

在这篇评论中，我们将探讨杰弗里·辛顿于1977年在爱丁堡大学完成的博士论文“松弛及其在视觉中的作用“。

我们将从辛顿试图解决的核心问题以及启发他提出松弛方法的理念入手。然后，我们将探讨论文如何表示不确定性、推理竞争性假设以及搜索全局一致的解读。

接下来，我们将检查木偶程序、松弛算子、图式和存储知识的作用、SETTLE系统，以及辛顿将其方法与当时其他方法的比较。我们还将讨论他指出的自身方法的局限性及其重要性。

最后，我们将探讨这篇论文中引入的许多理念如何出现在辛顿后来的工作中，并帮助塑造了现代AI的发展。

如果你想跟着一起阅读，也可以查看原始论文：

杰弗里·辛顿。松弛及其在视觉中的作用。博士论文，爱丁堡大学，1977年。 (https://era.ed.ac.uk/items/02e3dc47-0325-4574-a4d9-b09c3063b4ee)

以下是一张信息图，快速概述了杰弗里·辛顿1977年的博士论文。它总结了主要思想、松弛方法的工作原理、其应用、局限性以及为什么许多这些思想至今仍然重要。

信息图总结了杰弗里·辛顿1977年的博士论文《松弛及其在视觉中的作用》。它突出了论文的主要思想、方法论、关键发现、应用、局限性及其对现代AI的影响。## 目录：

• 核心挑战：视觉系统为何不能过早下结论 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-the-core-challenge-why-visual-systems-cant-afford-to-guess-too-soon)
• 思维即优化的首次出现 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-the-first-appearance-of-thinking-as-optimization)
• 视觉是推理，而非模式匹配 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-vision-is-inference-not-pattern-matching)
• 为何感知需要假设 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-why-perception-requires-hypotheses)
• 从二元决策到信念程度 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-from-binary-decisions-to-degrees-of-belief)
• 神经网络之前的分布式计算 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-distributed-computation-before-neural-networks)
• 并行计算是自然的方式 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-parallelism-as-the-natural-way-to-compute)
• 约束传播 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-constraint-propagation)
• 局部规则能产生全局智能 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-local-rules-can-produce-global-intelligence)
• 为何局部一致性不够 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-why-local-consistency-is-not-enough)
• 松弛作为一种推理方式 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-relaxation-as-a-way-of-reasoning)
• 均衡的重要性 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-the-importance-of-equilibrium)
• 从符号决策到数值推理 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-from-symbolic-decisions-to-numerical-reasoning)
• 为何感知是一个搜索问题 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-why-perception-is-a-search-problem)
• 超越模式识别：为何内部表示比最终输出更重要 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-beyond-pattern-recognition-why-internal-representations-matter-more-than-the-final-output)
• 中间及层次化表示的重要性 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-the-importance-of-intermediate-and-hierarchical-representations)
• 图式与存储知识 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-schemas-and-stored-knowledge)
• SETTLE系统 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-the-settle-system)
• 不确定性与模糊性作为推理的基础 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-uncertainty-and-ambiguity-as-the-foundation-of-reasoning)
• 全貌 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-the-whole-picture)
• 跨越五十年的连贯哲学 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-a-consistent-philosophy-across-five-decades)
• 出版许可 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-permission-to-publish)
• 进一步阅读 (https://www.freecodecamp.org/news/relaxation-and-its-role-in-vision-the-1977-phd-thesis-that-helped-shape-modern-ai-research/#heading-further-reading)

核心挑战：视觉系统为何不能过早下结论

在探讨辛顿论文中的思想之前，理解他试图解决的问题会有所帮助。开篇章节提出了一个看似简单的问题：当单个图像可能支持多种合理的解释时，视觉系统如何选择正确的解读？

这是视觉感知的核心挑战。现实世界的场景通常是模糊或部分遮挡的，因此系统不能过早地承诺一种解读。过早的决定可能会引入错误，这些错误会扩散到推理过程的其余部分，并导致对整个场景的错误理解。

真正的挑战是同时保持多个合理的解释，直到有足够的证据来确定哪一个是最一致的。

辛顿认为，20世纪70年代的常见方法并未解决这个问题。一种被称为最小承诺原则的方法，通过不指定信息来延迟决策。辛顿认为，这仅仅推迟了真正的问题，因为它没有提供方法来比较竞争性假设或确定它们应该如何相互一致。

另一种方法将固定含义分配给低级视觉特征。但由于特征的含义取决于其周围的上下文，当对象被部分隐藏或出现在不同情况下时，这些僵化的定义通常会失效。

下面的信息图总结了辛顿在其论文开头指出的核心挑战。他认为，视觉系统不应承诺对场景的第一个合理解释，而应同时维护许多竞争性假设，并允许它们相互作用，直到收敛于一个单一的、全局一致的解释。

它还突出了辛顿拒绝的两种当代方法，即最小承诺原则和刚性特征语义，因为在他看来，它们回避了核心问题，而不是解决了它。

这一框架确立了贯穿论文其余部分发展的松弛方法的动机。

关于辛顿1977年博士论文解释并行松弛的信息图。## 思维即优化的首次出现

辛顿论文中最有趣的观点之一是，感知不是瞬间识别物体的过程。相反，他将其视为一个寻找眼睛所见最佳解释的过程。

系统不是从一开始就承诺单一的解读，而是同时考虑许多可能的假设。有些假设相互支持，其他的则相互竞争，它们的置信度随着相互作用而变化。通过重复更新，弱的解释逐渐消失，而最强、最一致的解读浮现出来。

尽管辛顿将这个想法应用于视觉感知，但其背后的原理远远超出了计算机视觉的范畴。它引入了一种将智能视为优化问题的思维方式：许多可能的解释相互竞争，直到系统稳定在最适合可用证据的那个上。

回顾起来，这个想法让人感觉出奇地熟悉。同样的总体理念后来出现在概率推理、基于能量的模型、条件随机场、玻尔兹曼机以及许多其他方法中，在这些方法中，智能是通过寻找最一致的解决方案，而不是立即做出单一决策而涌现的。

视觉是推理，而非模式匹配

贯穿整个论文的一个突出观点是辛顿对“看见“真正含义的看法。他认为视觉不仅仅是识别模式或将图像归类。相反，感知是构建场景的内部解释的过程。

一个视觉系统不会立即知道它正在看什么。它必须决定哪些物体存在、它们如何相互关联，以及哪种解释最能解释可用的证据。换句话说，看见是一个推理过程，而不仅仅是识别。

辛顿也否定了感知仅仅通过将输入与存储模板集合进行比较来工作的观点。他认为，这种观点过于局限，无法解释我们如何理解复杂且不熟悉的场景。

相反，感知被描述为一个建设性的过程。系统通过结合证据、关系和先验知识来构建一个解释，直到一个连贯的解释浮现出来。它不是从记忆中检索一个答案，而是主动构建一个。

今天读到这些令人震惊，因为它与几十年后变得流行的观点惊人地相似。现代的生成模型和潜变量方法也是围绕着通过推断产生观测数据的隐藏结构来解释观测数据这一思想构建的。

这些想法也与现代表示学习惊人地接近，后者的目标不是记忆例子，而是学习能够解释新观测数据的、有意义的内部表示。

辛顿在1977年就已经在探索这些思维方式，远在它们成为现代AI核心主题之前。

为何感知需要假设

辛顿认为，感知不能是一个纯粹的反应过程。视觉系统经常接收到不完整、模糊甚至具有误导性的信息，因此它不能简单地接受脑海中出现的第一个解释。

相反，它必须以几种可能的解释开始。随着考虑更多证据，一些假设变得更有说服力，而另一些则被削弱或拒绝。最终的解读只有在这个评估和精炼过程之后才能达到。

尽管辛顿没有使用现代贝叶斯术语来描述它，但其基本思想惊人地相似。系统不是立即做出决定，而是随着证据的积累不断更新其信念，直到最一致的解释保留下来。

从二元决策到信念程度

另一个感觉非常现代的想法是，辛顿决定不将假设简单地视为真或假。相反，每个假设都被赋予一个0到1之间的值，反映系统当前对其相信的程度。随着松弛过程的展开，这些值被反复更新，直到最一致的解读突显出来，而其他的则逐渐消失。

今天，我们用不同的术语来描述类似的概念，包括概率、信念值、置信度得分、激活值和logits。多年来术语有所演变，但基本思想保持不变：智能通常依赖于表示不确定性，而不是立即做出不可逆的决策。