压缩的代价：事实幻觉的速率-失真极限

# 压缩的代价：事实幻觉的率失真极限  
来源：https://arxiv.org/html/2609.12111  
Xi Wang††贡献相同。单位：中国科学院合肥物质科学研究院，中国；单位：中国科学技术大学，中国；邮箱：[[email protected]](mailto:)  
Shijia Xu††脚注标记：Rongfeng Guo  
单位：深圳大学，中国  

###### 摘要  
闭卷问答中的事实幻觉常被视为覆盖问题：模型失败是因为相关事实未包含在其内部记忆中。这种观点忽略了第二种误差来源。即使某个事实已被观察到，有限的内存也可能迫使它仅被近似存储。我们通过简单的*覆盖-压缩*事实回忆模型研究了这一效应。考虑一个非结构化问答任务，其中有 N 种可能的查询和 K 种可能的答案。学习者观察到 M 个训练事实，将其压缩为至多 B 位，然后在不进行检索的情况下均匀抽取测试查询进行回答。对于均匀随机的真实映射，我们证明  
\(\mathcal{E} \geq \frac{M}{N} \delta^{\star}\!\left(\frac{B}{M}\right) + \left(1 - \frac{M}{N}\right)\left(1 - \frac{1}{K}\right)\)，  
其中 \(\delta^{\star}(r)\) 是均匀 K 元源在零一损失下的逆率失真函数。两项将已观察事实的*压缩失真*与未观察事实的*缺失覆盖*分离开来。该界限为选择性记忆、强制压缩、结构、检索、弃权和长上下文组织提供了简洁的推理框架。我们通过理论隐含的模拟以及在现代语言模型（其事实负载和有效可训练内存各异）中进行的受控事实注入探测，研究了预测的特征。该结果并非完整的幻觉理论，而是对一种可分离故障模式的信息论解释：有限内存下已观察事实的有损回忆。

## 1 引言  
大型语言模型无需明确检索即可回答许多事实问题，表明一些事实知识存储在其参数中。然而，事实错误在短文本、长文本、知识图谱、对话级别和真实世界的事实性评估中仍然普遍存在（Wei et al., 2024a (https://arxiv.org/html/2609.12111#bib.bib1)；Wei et al., 2024b (https://arxiv.org/html/2609.12111#bib.bib2)；Liu et al., 2024b (https://arxiv.org/html/2609.12111#bib.bib3)；Luo et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib4)；Zhao et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib5)；Bayat et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib6)；Jacovi et al., 2025 (https://arxiv.org/html/2609.12111#bib.bib7)；Liu et al., 2025 (https://arxiv.org/html/2609.12111#bib.bib8)）。一个标准的解释是缺失覆盖：相关事实不在模型的训练数据中，无法访问其参数，或在推理时不可用。这种解释推动了检索和接地方法，它们将部分事实负担从参数记忆转移到外部证据（Yan et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib11)；Edge et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib12)；Wang et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib13)；Ru et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib14)；Lee et al., 2025 (https://arxiv.org/html/2609.12111#bib.bib15)；Wu et al., 2025 (https://arxiv.org/html/2609.12111#bib.bib16)）。这很重要，但不完整。一个事实可以被观察到，但仍被错误回忆。压缩数据库提供了基本直觉：如果记录缺失，系统必须猜测；如果记录存在但以有损代码存储，系统可能检索到错误的值。闭卷事实回忆面临同样的张力。模型必须将许多事实压缩到有限的内部表示中，而近期对新事实知识、知识编辑、记忆化和知识容量的受控研究表明，事实存储本身是一种受限资源（Gekhman et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib9)；Huang et al., 2024 (https://arxiv.org/html/2609.12111#bib.bib10)；Allen-Zhu and Li, 2024 (https://arxiv.org/html/2609.12111#bib.bib24)；Morris et al., 2025 (https://arxiv.org/html/2609.12111#bib.bib25)；Zhou et al., 2025 (https://arxiv.org/html/2609.12111#bib.bib26)）。由此产生的错误不仅仅是暴露的失败，而是压缩下回忆的失败。

参见图注  
图1：覆盖-压缩框架。闭卷事实错误分解为对未观察事实的缺失覆盖和对在有限内存下存储的已观察事实的压缩失真。受控事实注入实验中使用了相同的诊断：观察查询误差衡量有损回忆，未观察查询误差衡量缺失覆盖，全空间误差衡量其混合。

我们用一个刻意简化的模型隔离了这一机制，总结如图1（https://arxiv.org/html/2609.12111#S1.F1）。设 \(\mathcal{Q}\) 是大小为 \(N\) 的查询集，\(\mathcal{A}\) 是大小为 \(K\) 的答案集。真实映射 \(g: \mathcal{Q} \to \mathcal{A}\) 是均匀随机抽取的，因此答案不包含学习者可以利用的语义规律。学习者观察到 \(M\) 个训练对，将观察到的信息编码为至多 \(B\) 位，并在不进行检索的情况下均匀抽取测试查询进行回答。这种随机源设置并非所有事实知识的模型；它是非结构化事实记忆的零模型，其中正确预测必须来自存储的信息。例如，当 \(K=10\) 时，一个无损答案需要 \(\log_2 10 \approx 3.32\) 位，因此一个 \(160\) 位的答案内存在乐观的自由寻址约定下仅能存储约 \(48\) 个独立事实。

核心主张是，闭卷事实误差有两个可分离的来源：被查询的事实可能未被记忆有效覆盖，或者可能被覆盖但存储过于有损而无法正确回忆。  
给定训练集，观察到的标签是 \(M\) 个独立的 \(K\) 元符号。学习者的记忆是这个序列的压缩表示。对于零一损失下的均匀 \(K\) 元源，设 \(\delta^{\star}(r)\) 表示当每个符号以速率 \(r\) 位编码时，可达到的最小重建误差。我们的主要结果，正式陈述于定理3.1（https://arxiv.org/html/2609.12111#S3.Thmtheorem1），给出 \(\mathcal{E} \geq \frac{M}{N} \delta^{\star}\!\left(\frac{B}{M}\right) + \left(1 - \frac{M}{N}\right)\left(1 - \frac{1}{K}\right)\)。第一项是已观察事实上的失真；第二项是未观察查询上的猜测误差。当 \(B/M \geq \log_2 K\) 时，已观察事实可以无损存储，界限简化为通常的未见查询下限。当 \(B/M < \log_2 K\) 时，每个符号无法无损存储；必然存在失真 \(\delta^{\star}(B/M) > 0\)。如果对所有已观察符号达到失真 \(D > \delta^{\star}(B/M)\)，经典的率失真可达性给出的码字，其已观察事实失真在 \(M\) 增长时接近 \(D\)。解码器从重建序列回答已观察查询，并在未观察查询上均匀猜测。因此，  
\(\displaystyle \mathcal{E} \leq \frac{M}{N} \left[ \delta^{\star}\!\left(\frac{B}{M}\right) + o(1) \right] + \left(1 - \frac{M}{N}\right)\left(1 - \frac{1}{K}\right)\)。  
因此，公式（10 (https://arxiv.org/html/2609.12111#A1.E10)）是随机源模型的自然率失真包络，而不仅仅是一个宽松的下界。

### A.3 分配方案  
主定理描述了强制压缩方案，其中所有 \(M\) 个已观察事实共享一个 \(B\) 位表示。为了解释，将其与理想化的选择性记忆策略进行比较是有用的。

#### 选择性记忆。  
选择性学习者选择有效存储 \(L \leq M\) 个事实，将内存预算用于这些事实，其余猜测。\(L=0\) 的情况对应于全部猜测，因此分配曲线为  
\(\displaystyle \mathcal{E}_{\mathrm{sel}}(M) = \min\left\{ 1 - \frac{1}{K}, \min_{1 \leq L \leq M} \Phi(L) \right\},\)  
\(\displaystyle \Phi(L) = \frac{L}{N} \delta^{\star}\!\left(\frac{B}{L}\right) + \left(1 - \frac{L}{N}\right)\left(1 - \frac{1}{K}\right)\)。  
因为可行集随 \(M\) 增长，\(\mathcal{E}_{\mathrm{sel}}(M)\) 关于 \(M\) 非递增。该曲线捕捉了内存限制下的收益递减；不应解读为更多数据会伤害最优学习者。无损端点给出规模 \(L_{\mathrm{lossless}} \approx \frac{B}{\log_2 K}\)。这是在自由寻址下可以无错误存储的非结构化 \(K\) 元事实的大致数量。

#### 强制压缩。  
如果所有 \(M\) 个已观察事实必须共享相同的 \(B\) 位表示，操作曲线为  
\(\displaystyle \mathcal{E}_{\mathrm{forced}}(M) = \frac{M}{N} \delta^{\star}\!\left(\frac{B}{M}\right) + \left(1 - \frac{M}{N}\right)\left(1 - \frac{1}{K}\right)\)。  
随着 \(M\) 增长，未见查询项减少，因为更多查询被覆盖，但已观察事实失真可能增加，因为每事实速率 \(B/M\) 减少。这是压缩过载效应。U形全空间曲线并非仅由有限内存隐含；它需要额外的机制，如强制均匀分配、干扰或集中在竞争事实上的评估分布。

### A.4 结构与弃权  
#### 演绎闭包。  
结构化设置形式化了确定性结构减少必须存储的独立事实数量的思想。设有 \(N_{\mathrm{base}}\) 个独立的基础事实 \(Z_1, \ldots, Z_{N_{\mathrm{base}}}, \qquad Z_i \sim \mathrm{Unif}(\mathcal{A})\)。每个基础事实决定 \(c\) 个派生查询的块，因此总查询数为 \(N = c N_{\mathrm{base}}\)。对于与 \(Z_i\) 关联的块中的每个派生查询，假设答案是 \(Z_i\) 的已知一对一变换。因此，重建 \(Z_i\) 上的误差会对其派生查询引入相同的零一误差。

###### 命题 A.2（演绎闭包降低有效内存负载）。  
假设学习者观察到 \(M\) 个基础事实并将其标签压缩为 \(B\) 位。在定理A.1（https://arxiv.org/html/2609.12111#A1.Thmtheorem1）的强制压缩类比下，并假设 \(cM \leq N\)，全空间误差满足  
\(\displaystyle \mathcal{E}_{\mathrm{struct}} \geq \frac{cM}{N} \delta^{\star}\!\left(\frac{B}{M}\right) + \left(1 - \frac{cM}{N}\right)\left(1 - \frac{1}{K}\right)\)。

###### 证明。  
\(M\) 个已观察的基础标签是独立的均匀 \(K\) 元符号。通过与定理A.1（https://arxiv.org/html/2609.12111#A1.Thmtheorem1）相同的率失真论证，其平均重建误差至少为 \(\delta^{\star}(B/M)\)。每个重建的基础事实支持 \(c\) 个派生查询，并且一对一映射将基础标签误差传播到派生查询误差。因此，已观察的基础事实覆盖了 \(N\) 个派生查询中的 \(cM\) 个。其余查询依赖于未观察的基础事实，猜测误差至少为 \(1 - 1/K\)。结合覆盖和未覆盖部分，得到公式（A.2 (https://arxiv.org/html/2609.12111#A1.Ex38)）。∎

选择性结构化变体仅存储 \(L \leq M\) 个具有非平凡保真度的基础事实：  
\(\displaystyle \mathcal{E}_{\mathrm{struct,sel}} = \min\left\{ 1 - \frac{1}{K}, \min_{\substack{1 \leq L \leq M \\ cL \leq N}} \Psi(L) \right\},\)  
\(\displaystyle \Psi(L) = \frac{cL}{N} \delta^{\star}\!\left(\frac{B}{L}\right) + \left(1 - \frac{cL}{N}\right)\left(1 - \frac{1}{K}\right)\)。  
与非结构化情况相比，因子 \(c\) 增加了每个存储独立事实的查询覆盖范围。这就是演绎闭包放宽幻觉下限的形式意义。

#### 弃权。  
主设置要求学习者回答每个查询。如果允许弃权，学习者可以将其限制在拥有可靠记忆的查询子集上。假设学习者仅回答查询空间的一部分 \(1 - \gamma\)，并弃权剩余部分 \(\gamma\)。设 \(L\) 是回答查询中有效存储的事实数量。在自由寻址下，回答查询上的条件误差为  
\(\displaystyle \mathcal{E}_{\mathrm{ans}} = \frac{L}{(1 - \gamma)N} \delta^{\star}\!\left(\frac{B}{L}\right) + \left(1 - \frac{L}{(1 - \gamma)N}\right)\left(1 - \frac{1}{K}\right)\)，  
满足 \(0 \leq L \leq M, \qquad 0 \leq \gamma < 1, \qquad L \leq (1 - \gamma)N\)。  
该表达式明确了覆盖-准确性权衡：弃权允许内存集中在更少的回答查询上，但降低了回答覆盖率。

## 附录 B 理论隐含模拟细节  
正文报告了率失真包络中的代表性操作点。此处我们给出用于构建表2（https://arxiv.org/html/2609.12111#S4.T2）的完整理论隐含扫描。所有值均通过数值反转 \(K=10\) 的 \(K\) 元失真-速率函数并四舍五入至三位小数计算得出。这些不是语言模型测量值；它们实例化了第3节（https://arxiv.org/html/2609.12111#S3）中分析的理想化包络。

#### 数值反转。  
对于目标速率 \(r\)，我们通过一维二分搜索在 \(D \in [0, 1 - 1/K]\) 上计算 \(\delta^{\star}(r) = \inf\{D \geq 0: R_K(D) \leq r\}\)。如果 \(r \geq \log_2 K\)，则设置 \(\delta^{\star}(r) = 0\)。如果 \(r \leq 0\)，则设置 \(\delta^{\star}(r) = 1 - 1/K\)。然后报告的全空间风险是通过将 \(\delta^{\star}(B/M)\) 代入相应的操作曲线获得的。

### B.1 非结构化覆盖-压缩分解  
我们使用 \(N=5,000\), \(K=10\), 和 \(B=160\) 位。仅覆盖下限为  
\(\displaystyle \mathcal{E}_{\mathrm{cov}}(M) = \left(1 - \frac{M}{N}\right)\left(1 - \frac{1}{K}\right)\)。  
对于无损选择性基线，我们使用 \(L_{\mathrm{lossless}} = \min\left(M, \left\lfloor \frac{B}{\log_2 K} \right\rfloor\right)\)，  
\(\displaystyle \mathcal{E}_{\mathrm{sel,lossless}}(M) = \left(1 - \frac{L_{\mathrm{lossless}}}{N}\right)\left(1 - \frac{1}{K}\right)\)。  
强制压缩曲线为  
\(\displaystyle \mathcal{E}_{\mathrm{forced}}(M) = \frac{M}{N} \delta^{\star}\!\left(\frac{B}{M}\right) + \left(1 - \frac{M}{N}\right)\left(1 - \frac{1}{K}\right)\)。

表3：非结构化事实回忆的理论隐含扫描，\(N=5,000\), \(K=10\), 和 \(B=160\) 位。

### B.2 内存缩放  
### B.3 演绎闭包  
我们使用