claude-shannon

这篇文章重点介绍了克劳德·香农对现代计算和人工智能的基础性贡献，包括信息论、逻辑门的发明，以及早期的计算机国际象棋编程，这些都帮助推动了机器学习的起步。

本文反思了文本生成的历史，在现代大语言模型（如 GPT-4）与豪尔赫·路易斯·博尔赫斯和克劳德·香农的早期概念之间建立了联系。文章探讨了香农的概率实验以及博尔赫斯“巴别图书馆”的隐喻，如何有助于阐明关于生成文本本质和数据结构的根本问题。