@_yusufknl: In 1948, Claude Shannon invented the math behind every LLM you use today. He tested it by making his wife guess the nex…

In 1948, Claude Shannon invented the math behind every LLM you use today. He tested it by making his wife guess the next letter in a book.

A Stanford-trained mathematician just released a 32-minute walkthrough of this exact history - and why the “next-token prediction” story of GPT-5 is actually wrong.

Bookmark & watch this weekend. The alternative is a graduate info-theory course + 3 semesters of your life.

TL;DR: 克劳德·香农1948年开创的信息论为LLM的数学基础（如交叉熵损失）提供了支撑，压缩与预测在数学上等价；通过机器人指令编码的例子，展示了如何从最优压缩需求自然地引出熵的定义。

文本压缩的极限与信息论的起源

当你将文本编码为二进制时，总希望尽可能少用数据。于是自然会问：文本压缩的效率是否存在某种根本性的限制？ASCII 每个字符用八个比特，效率很低。稍聪明的方法——将常见字符与更短比特串关联——平均可降到约四比特。更智能的方法利用长文本序列中的模式还能做得更好。但极限在哪里？比任何单一数字答案更有趣的是：你如何着手回答这个问题。

这个问题至少可追溯到20世纪40年代，克劳德·香农的开创性工作开启了信息论。有趣的是，他为回答这类问题发展的数学方法，对现代机器学习出奇地有用。例如，训练大型语言模型时，预训练常被描述为“下一词元预测”，尤其使用交叉熵损失。这个术语源于信息论。信息论的一个结论是：预测和压缩在数学上等价——它们是同一枚硬币的两面。这意味着可以重新思考预训练目标：它本质上不是关于下一个词元预测，而是关于创建最有效的文本压缩器。理解这一点能更清晰地阐明交叉熵的概念以及为何使用它。

另外，“压缩就是智能”这个说法虽难以严格评判（因为“智能”定义模糊），但压缩的数学理论与人工智能确实有奇异关联。这个视频是三部曲的第一部，旨在奠定数学基础，以便后续评估这个说法的含义。

热身问题：机器人指令编码

想象一个机器人漫游卫星表面，接收四种移动指令：向上、向下、向左、向右，每个指令的概率不同：1/2 向上，1/4 向下，1/8 向左，1/8 向右。每个指令独立（简化假设）。向机器人发送比特流成本高昂，自然问题是：将这些指令编码为比特流的最有效方式是什么？

三种学生的方案

直接学生：每个指令用两个固定比特，如 00=向上，01=向下，10=向左，11=向右。解码简单，但平均每指令2比特，未利用概率差异。

聪明学生：利用频率差异，使用不同长度比特串：

• 向上：0（1比特）
• 向下：10（2比特）
• 向左：110（3比特）
• 向右：111（3比特）

平均比特数 = 1/2×1 + 1/4×2 + 1/8×3 + 1/8×3 = 1.75 比特，优于固定2比特。解码时，机器人读取比特流直到构成一个完整码字。关键是：没有码字是另一个码字的前缀——这种编码称为无前缀码（或前缀码）。若违反此规则（如引入第五个指令用100），会导致歧义。

用二进制树可视化

每一层显示给定长度的所有二进制字符串。以0开头的串位于左半部分，以1开头的在右半部分。聪明学生的分配中，“向上”消耗了空间的一半（所有以0开头的串被禁止），“向下”消耗剩余的四分之一，“向左”和“向右”各消耗八分之一。这些比例恰好等于各指令的概率。这种完美对齐暗示该方案可能已达极限。

完美压缩与随机噪声

云中头脑学生论证：完美、最优效率的编码应该将输出比特流变得与随机噪声无法区分——即每个比特独立且等概率（50% 0, 50% 1）。聪明学生的编码确实满足此性质：每新比特如同一次独立抛硬币。例如，第一个比特是0的概率=向上概率=1/2；否则是1，然后第二个比特是0的概率=向下在剩余情况中的概率=1/2，等等。

为什么随机噪声不可压缩？从接收方角度：若一个压缩后的消息用 n 比特表示，则它只是 2ⁿ 个可能消息之一，且若输出看起来像随机噪声，所有 2ⁿ 个消息必须等可能（概率 2⁻ⁿ）。若试图让某个消息使用更少的比特（在二进制树中下移），就会挤占其他消息的空间，迫使它们上移占用更多比特，导致总体效率下降。对于等可能消息，最有效方案是给所有消息相同数量的比特——直观上合理，而二进制树提供了更具体的权衡论证。

这个思路引导出关键定义：一个在完美压缩中使用 n 比特的消息，其概率为 2⁻ⁿ，这正是熵的概念的雏形。香农无噪声编码定理的核心思想——压缩极限由消息的概率分布决定——由此自然浮现。

Source: YouTube视频

fintex (@_yusufknl): As someone who’s spent 3 years fine-tuning ML models, this lecture on neural networks from a Stanford math grad is the closest thing to a no-bullshit “day one of ML” briefing I’ve ever seen released publicly for free.

Everyone thinks neural nets are magic. They aren’t. They’re