信息论的视觉入门 (请收藏) 信息论是一门优美而强大的学科。在人工智能时代，值得花时间学习它。这里为大家强烈推荐一篇阅读材料，适合任何希望真正理解熵和互信息的人。这是一本直观的、以直觉为先导的信息论指南。它只要求熟悉基本概率论，因此易于理解，同时又能触及压缩和传输的基本极限。论文: https://arxiv.org/abs/2206.07867 在我们的学院中学习构建有效的AI智能体: https://academy.dair.ai

信息论的视觉入门

来源: https://arxiv.org/html/2206.07867

Henry Pinkard 加州大学伯克利分校电气工程与计算机科学系 加州大学伯克利分校计算生物学研究生项目 Laura Waller 加州大学伯克利分校电气工程与计算机科学系

\vskip-26.0pt

信息论虽然最初是为通信工程而发展起来的，但其提供的数学工具在科学领域有着广泛的应用。这些工具刻画了在存在噪声的情况下，数据压缩和传输的基本极限。在这里，我们提供一份视觉化、直觉驱动的指南，介绍信息论的关键概念。我们将展示熵、互信息和信道容量如何从基本概率中推导出来，以及它们如何决定数据源最短可能的编码，以及通过噪声信道进行可靠通信的最大速率。我们的讲解仅要求读者熟悉基本的概率论。

1 引言

在1940年代，克劳德·香农7 基于概率论为信息给出了一个精确的数学定义。自那时起，信息论确立了数据压缩以及在噪声网络上可靠传输的基本极限，为数字世界奠定了基础。其数学工具已在统计学、机器学习、密码学、量子计算、生物学以及许多其他领域得到应用。在此，我们介绍信息论的基础，重点在于直觉理解。这是对关键概念的简要介绍；更全面的论述可参考教科书3, 2以及香农的原始表述7。

主要思想

信息论将一种熟悉的直觉精确地数学化：信息意味着对未知事物的了解。香农将信息描述为一种“可以像质量或能量这样的物理量一样被处理”的东西。香农根据概率来定义信息：潜在消息上的概率分布是传输信息的唯一重要因素。消息的实际内容无关紧要。一串彩色弹珠的随机性与一段英文文本中字母序列的随机性，或者哈勃望远镜图像中像素序列的随机性，描述方式完全相同。本文涵盖了信息论中的两个关键问题。第一个是信源编码（数据压缩）：平均而言，我们能以多简洁的方式记录一系列随机事件？这又分为无损压缩（必须完美重建原始序列）和有损压缩（允许一定失真以实现更小的编码）。第二个是信道编码（数据传输）：给定一个引入失真的噪声信道，我们如何对序列进行编码，以便能够恢复原始数据？这也分为完美传输和带失真的传输。

1.1 符号

2 核心量：信息、熵和互信息

信息论建立在一小部分量的基础之上，这些量用于衡量不确定性以及随机事件之间的关系。熵衡量单个随机事件平均的不确定性，并决定了数据压缩的极限。互信息衡量观察一个随机事件能减少关于另一个随机事件的不确定性程度，并决定了数据传输的极限。连同它们向随机过程、连续分布和有损压缩的推广，这些量为论文的其余部分提供了基础。

2.1 什么是信息？

获取信息和减少关于随机事件的不确定性是同一回事。3小时后的天气会怎么样？这是不确定的。但从现在到那时，我们可以通过观察当前天气持续获取信息，3小时后我们的不确定性将降为零。它对我们来说不再是随机的。一个随机事件的信息内容只取决于其概率分布，而与事件代表什么无关。正因如此，任何随机事件的来源都可以替代另一个。我们使用彩色弹珠作为反复出现的例证：从一个装着蓝色、绿色、黄色和灰色弹珠的瓮中随机抽取一颗弹珠（图1a）。形式上，我们有有限、离散的结果集合，结果上的概率分布，以及独立同分布（IID）的抽取序列。这里介绍的概念可以推广到非IID的情况（2.8节）以及连续变量和概率密度函数（2.9节）。

图1: 概率与信息的等价性 a) 从一个瓮中随机（有放回）抽取两颗弹珠序列，从而产生 b) 16种可能的双色序列上的概率分布。c) 得知关于所抽双色命题为真，使我们能够排除某些结果。例如，得知没有弹珠是蓝色，排除了16种可能结果中的7种，包含了(\frac{3}{4})的概率质量。排除概率质量、减少关于结果的不确定性以及获取信息，在数学上是等价的。概率质量减少50%对应于1比特信息。

更常见的结果提供的信息更少，更罕见的结果提供的信息更多。为了理解原因，假设有人从瓮中抽了两颗彩色弹珠，但我们不知道他们抽到了什么。我们将这两个随机事件记为 (\mathrm{X}_1) 和 (\mathrm{X}2)。它们的联合概率分布 (p{\mathrm{X}_1, \mathrm{X}_2}) 告诉我们16种可能双色序列中每一种的概率（图1b）。然后，假设我们了解到关于所抽结果的一些事实（但不是确切结果）。例如，我们可能得知两个弹珠都不是蓝色，或者第一个弹珠不是绿色，或者两个弹珠颜色不同（图1c）。了解到每个事实都允许我们排除 (\mathrm{X}_1, \mathrm{X}_2) 结果的可能性。该事实成立的概率越小，我们能排除的可能结果就越多。例如，对于图1所示的分布，蓝色、绿色、黄色和灰色的概率分别为(\frac{1}{2})、(\frac{1}{8})、(\frac{1}{8})和(\frac{1}{4})。知道两个弹珠颜色相同，排除了16个可能结果中的12个，消除了(\frac{21}{32})的概率质量。我们能排除的可能性越多，我们获得的信息就越多。更罕见的结果包含更多信息。我们可以根据结果的确切概率计算出它提供的信息量。按照惯例，我们使用以2为底的对数来衡量，从而比特作为信息单位：每次我们排除一半的概率质量，我们就获得恰好1比特信息。一个概率为 (p) 的结果所含的信息为： [ \log_2 \frac{1}{p(x)} ] 后续章节将省略底数2。在我们的弹珠例子中，如果得知没有弹珠是蓝色，我们就只剩下(\frac{1}{4})的概率质量，我们就获得了2比特信息，因为我们把概率质量减半了两次。“比特”这个词也描述了一个可以容纳信息的容器：一个二进制数字，可以是0或1。一个容器可以容纳少于1比特的信息，就像1升的瓶子只能装(\frac{1}{2})升水一样。除非另有说明，这里的“比特”指的是信息单位。

所有结果的信息按概率加权平均就是熵，记作 (H(\mathrm{X}))： [ H(\mathrm{X}) = \sum_{x \in \mathcal{X}} p(x) \log \frac{1}{p(x)} ] 熵可以理解为随机事件平均而言有多令人惊讶：更随机的事件更令人惊讶，观察它们的结果能获得更多信息。反过来，更高的熵意味着初始不确定性更大，因此我们必须获取更多信息才能确定结果。当概率在结果上尽可能均匀分布时，熵达到最大化，而不是当存在许多极罕见结果时。尽管罕见结果本身包含更多信息，但它们递减的概率超过了递增的每结果信息量：每个结果对熵的贡献 (p \cdot \log \frac{1}{p}) 当 (p \to 0) 时趋近于零，因为 (p) 线性减小，而 (\log \frac{1}{p}) 仅对数增长。2.3节会更详细地讨论最大熵分布。

2.2 熵与数据压缩

熵决定了随机事件序列可能的最短二进制编码，这个问题被称为信源编码。为了理解原因，考虑从瓮中抽取一系列彩色弹珠，并使用二进制码字（如1, 10等）记录每个结果。我们的目标是选择一种编码方案，它（平均而言）能产生我们序列的最短二进制描述，同时不会对结果产生任何歧义。这是一个无损压缩问题。信息含量和最优编码都取决于每个结果的概率。例如，考虑在结果空间 (\mathcal{X}) 上的随机变量 (\mathrm{X})，其关联概率为 (p_{\mathrm{X}})（图2，顶部）： [ \mathcal{X} = {{\tt\color[rgb]{0,0,1}{蓝色}}, {\tt\color[rgb]{.5,.5,.5}{灰色}}, {\tt\color[rgb]{1,0.71,0.16}{黄色}}, {\tt\color[rgb]{0,0.6,0}{绿色}}} ] [ p_{\mathrm{X}} = {\tfrac{1}{4}, \tfrac{1}{4}, \tfrac{1}{4}, \tfrac{1}{4}} ]

图2: 熵可以解释为随机事件序列最短编码的平均长度，这里是从瓮中重复抽（有放回）彩色弹珠。 （顶部）当每种颜色概率相等时，最短的二进制记录为每个事件分配一个两位二进制字符串码。熵是典型序列中每事件的平均比特数：2比特。 （底部）当某些颜色比其他颜色更可能出现时，概率更高的颜色可以记录为更短的二进制字符串以节省空间。这导致更小的熵：1.75比特。

给定这些概率的最短无损编码方案是为每个结果分配一个唯一的2位二进制码字：00, 01, 10, 11，因为每个随机事件的平均信息量（其熵）是2比特。或者，考虑结果概率不相等的情况（图2，底部）： [ \mathcal{X} = {{\tt\color[rgb]{0,0,1}{蓝色}}, {\tt\color[rgb]{.5,.5,.5}{灰色}}, {\tt\color[rgb]{1,0.71,0.16}{黄色}}, {\tt\color[rgb]{0,0.6,0}{绿色}}} ] [ p_{\mathrm{X}} = {\tfrac{1}{2}, \tfrac{1}{4}, \tfrac{1}{8}, \tfrac{1}{8}} ] 现在结果更可预测了：更可能是蓝色，更不可能是黄色或绿色。我们更确定，所以平均而言我们需要较少的信息来描述每次抽取。我们可以通过将更短的码字分配给更可能出现的结果，更长的码字分配给不太可能出现的结果来缩短平均编码。最短的无损编码方案使用码字1, 01, 001, 000（这个编码不是唯一的；我们总是可以交换0和1）。这是前缀码：没有码字是另一个码字的前缀，因此即使码字连接在一起也能唯一解码。将总编码长度除以事件数，每次抽取的平均信息量（熵）是1.75比特。如果我们改用2位二进制码，平均编码就会比必要的更长，从而引入了冗余。熵也描述了关于随机变量结果的不确定性。如果 (p({\tt\color[rgb]{0,0,1}{蓝色}}) = 1) 且所有其他概率为0，则熵为0。在这种情况下没有不确定性，因为甚至在看到结果之前我们就确定了结果。

2.3 冗余

冗余衡量随机事件的熵与其结果空间上可能的最大熵之间的差距。当所有结果等概率时熵最大化，即最大熵分布 (H_{\text{max}}(\mathcal{X}))（图2，顶部）。等概率产生最不确定的结果和最长的可能最优二进制编码。当所有结果等概率时，最大熵等于可能结果数的对数： [ H_{\text{max}} = \log_2 |\mathcal{X}| ] 其中 (|\mathcal{X}|) 是 (\mathcal{X}) 中元素的数量。更多可能结果意味着更大的潜在不确定性。冗余度 (W) 是这两者的差值：