克劳德·香农推动了机器学习的诞生——“香农没有费心去预测未来——他直接去发明了它”：https://spectrum.ieee.org/claude-shannon-information-theory… +—+—+—+ 参见这本获奖图书：http://amzn.to/3L1yQES

克劳德·香农如何推动了机器学习的诞生

来源：https://spectrum.ieee.org/claude-shannon-information-theory 在20世纪的伟大工程师中，谁对21世纪技术的贡献最大？我的答案是：克劳德·香农 (https://spectrum.ieee.org/claude-shannon-tinkerer-prankster-and-father-of-information-theory)。

香农最为人熟知的是创立了信息论 (https://spectrum.ieee.org/tag/information-theory)。在1948年的一篇论文中，这篇论文属于工程学史上 (https://spectrum.ieee.org/tag/history-of-engineering) 最伟大的论文之一，他提出了一种衡量信号信息含量的方法，并计算出在任何通信信道上可靠传输信息的最大速率。这篇题为“通信的数学理论 (https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf)”的文章描述了所有现代通信的基础，包括智能手机上的无线互联网 (https://spectrum.ieee.org/tag/internet)，甚至是双绞电话陆线（landline）上的模拟语音信号。1966年，IEEE授予他最高奖项——荣誉勋章 (https://corporate-awards.ieee.org/recipients/ieee-medal-of-honor-recipients/)，以表彰这项工作。

如果信息论是香农唯一的成就，那也足以确保他在先贤祠中的地位。但他做的远不止这些。

十年前，在MIT (https://spectrum.ieee.org/tag/mit) 攻读硕士论文期间，他发明了逻辑门。当时，电磁继电器——利用磁力 (https://spectrum.ieee.org/tag/magnetism) 来开合电开关的小型装置——被用于构建路由电话呼叫或控制复杂机器的电路。然而，对于如何设计或分析这类电路，并没有一致的理论。人们思考它们的方式是围绕继电器线圈是否通电。香农表明，布尔代数 (https://www.allaboutcircuits.com/textbook/digital/chpt-7/introduction-boolean-algebra/) 可以被用来摆脱继电器本身，进入对电路功能的更抽象理解。他利用这种逻辑代数来分析和综合开关电路，并证明整个电路按预期工作。在他的论文中，他发明了AND、OR和NOT逻辑门 (https://spectrum.ieee.org/tag/logic-gates)。逻辑门是所有数字电路的构建块，整个计算机科学的大厦都基于此。

1950年，香农在《科学美国人》 (https://www.paradise.caltech.edu/ist4/lectures/shannonchess1950.pdf) 上发表了一篇文章，并发表了一篇研究论文 (https://vision.unipv.it/IA1/ProgrammingaComputerforPlayingChess.pdf)，描述了如何为计算机编写程序来下国际象棋 (https://spectrum.ieee.org/tag/chess)。他详细介绍了如何为实际计算机设计程序。他讨论了数据结构如何在内存中表示，估计了程序需要多少位内存，并将程序分解为他所谓的子程序。今天我们称之为函数或过程。他的一些子程序用于生成可能的走法；另一些则用于对局面好坏进行启发式评估。

在MIT攻读硕士论文期间，香农发明了逻辑门。

香农做这一切的时候，全世界计算机 (https://en.wikipedia.org/wiki/Timeline_of_computing_1950%E2%80%931979) 的数量不到10台。而且它们都被用于数值计算。他在研究论文的开头推测了计算机可能被编程执行的各类非数值计算任务，包括设计继电器和开关电路、设计通信用的电子滤波器、在人类语言之间进行翻译，以及进行逻辑推理。如今，计算机做了所有这些事情。他给出了为什么选择先研究国际象棋的四个理由，其中一个重要的理由是，人们认为下棋需要“思考”。因此，他推断，这将是检验计算机能否思考的一个绝佳测试案例。

香农建议，可以通过分析程序已经下过的棋局，并调整其启发式评估中用于判断所遇到棋局强弱项的术语和系数，来改进他的程序。当时香农手头没有现成的计算机，因此无法测试他的想法。但仅仅五年后的1955年，亚瑟·塞缪尔 (https://history.computer.org/pioneers/samuel.html) 这位IBM (https://spectrum.ieee.org/tag/ibm) 工程师，能够在计算机交付给客户前的测试阶段使用它们，就运行了一个跳棋程序，该程序使用香农的确切方法来提升其棋力。1959年，塞缪尔发表了一篇论文 (https://ieeexplore.ieee.org/document/5392560)，标题中带有“机器学习”——这是该短语首次出现在出版物中。

所以，让我们回顾一下：信息论、逻辑门、非数值计算机编程 (https://spectrum.ieee.org/tag/programming)、数据结构，而且可以说还有机器学习 (https://spectrum.ieee.org/tag/machine-learning)。克劳德·香农 (https://spectrum.ieee.org/tag/claude-shannon) 没有费心去预测未来——他只是直接去发明了它，甚至还活到了亲眼看到自己的思想被采纳的那一天。自从他20年前去世以来，我们再也没有见过像他这样的人。也许永远不会再有了。

本文发表于2022年2月印刷版，原题为“Claude Shannon’s Greatest Hits”。