上下文确定性的有限证书与语言模型中涌现的阈值理论

# 上下文确定性的有限证书与语言模型涌现的阈值理论

来源: https://arxiv.org/html/2606.07623

Faruk Alpay  
计算机工程系  
伊斯坦布尔巴赫切谢希尔大学, 土耳其  
faruk\.alpay@bahcesehir\.edu\.tr

Hamdi Alakkad  
人工智能工程系  
伊斯坦布尔巴赫切谢希尔大学, 土耳其  
hamdi\.alakkad@bahcesehir\.edu\.tr

###### 摘要

我们研究上下文条件化语言模型行为的两个验证问题，将基准标签替换为有限语义证书。第一个问题是有限确定性：在不改变模型参数的情况下，上下文中的示例何时能强制得出查询的答案？对于有限域线性任务族，我们证明了精确的行空间准则，计算了剩余假设数量，给出了完全识别曲线 \(I_{d}(n)=\prod_{i=0}^{d-1}(1-Q^{i-n})\)，并为固定非零查询推导了查询局部确定曲线。此外，我们还证明，即使对于二元输出，提取最小强制子上下文也是NP完全的。第二个问题是阈值涌现：一个明显的基准跳跃何时指示语义转换而非评分映射的不连续性？我们证明了一个反幻象定理，将阈值化度量与语义置信度分开，以及一个速率敏感的交叉界限 \(\lambda_{\tau}=(a/(1-\tau))^{1/\alpha}\)，用于潜在承诺在阈值以上变得可见。共同的语义对象是可定义事件上的置信度泛函 \(s_{\lambda,c}(\varphi)=\mu_{\lambda,c}([\![\varphi]\!])\)。我们证明它是一个布尔概率测度，等价于相关类型空间上的凯斯勒测度，其测度一公式构成一个真滤子，其Stone空间表示在定义扩展下不变。由此产生的演算提供了可重用对象：有限上下文证书、对-分隔符击中集、查询教学维度、提示保留准则和尺度极限见证。一个辅助制品通过精确算术脚本复现了有限域和阈值计算，并记录了图表所使用的发射数据文件。为了探究这些定理所分离的证书是否在训练系统的可及范围内，我们还在一个由弱到中的当代语言模型面板上运行了一个确定性证书发射基准，通过精确匹配和分级代理进行评分。精确分数重现了预测的阈值跳跃——它在多字段证书上保持接近零，直到单个系统跨越，而分级置信度则平滑上升——这是反幻象定理在训练系统上的一个实例，并通过一个合取计数增强，该计数将跨越尺度放大 \(k^{1/\alpha}\) 倍。由于每个族准则都是一个健全的、无预言机的检查器，同样的机制定义了一个厌恶闭环，其接受集是健全且非递减的；其范围取决于生成器是否能够作用于检查器的定向反馈，因此它可以证明地消除度量伪影阈值，同时保留真实的算术间隙，且无参考答案进入循环。

## 1 引言

本文将上下文条件化的语言模型行为视为一个有限认证问题。第一个目标是**确定性**：给定上下文中的示例和一个查询，何时答案是由语义约束强制得出，而不仅仅是解码器所偏好的？在有限域线性任务族中，答案是精确的。当查询恰好位于示例设计矩阵的行空间中时，它被强制得出；当观测矩阵的秩为 \(r\) 时，剩余潜在参数的数量为 \(Q^{d-r}\)；在 \(n\) 个随机示例后完全识别的概率为 \(I_{d}(n)=\prod_{i=0}^{d-1}\bigl(1-Q^{i-n}\bigr)\)，固定非零查询通过秩分布平均得到其自身的确定曲线。提取最小强制子上下文是NP完全的。第二个目标是**阈值涌现**：一个基准可能因为度量阈值化了一条平滑的语义置信度曲线而跳跃。我们证明了这种分离的反幻象定理（定理6.8 (https://arxiv.org/html/2606.07623#S6.Thmtheorem8)）和一个速率敏感的交叉尺度界限 \(\lambda_{\tau}=(a/(1-\tau))^{1/\alpha}\)，该界限用于潜在承诺在阈值以上变得可见（定理6.5 (https://arxiv.org/html/2606.07623#S6.Thmtheorem5)）。这些陈述并不断言每个训练模型都是精确线性的，也不断言每个基准跳跃都是人为的。它们提供了一种认证语言，在这些语言中可以测试那些主张。第8节 (https://arxiv.org/html/2606.07623#S8) 通过精确算术脚本复现了定量定理，第10节 (https://arxiv.org/html/2606.07623#S10) 陈述了训练模型的可控证伪协议。

大型语言模型通过一个日益稳定的经验模式进行评估：一个固定的训练系统接收一个有限上下文，上下文改变输出上的分布，更大的系统使某些上下文条件化的行为更加可靠。GPT-3 通过报告翻译、问答、完形填空、算术和 SuperGLUE 风格评估中的零样本、一样本和少样本性能（所有测试时均无参数更新），使这一模式变得可操作[5 (https://arxiv.org/html/2606.07623#bib.bib5)]。随后的缩放律工作表明，交叉熵损失可以在广泛区间内随规模平滑变化，这使能力的增长与任何单个基准阈值分离开来[14 (https://arxiv.org/html/2606.07623#bib.bib14)]。计算最优缩放通过显示数据分配和模型大小共同决定观测到的损失曲线，进一步细化了这一图景[13 (https://arxiv.org/html/2606.07623#bib.bib13)]。PaLM 在大规模语言、推理和多语言基准上延续了相同的趋势[6 (https://arxiv.org/html/2606.07623#bib.bib6)]。后来的 GPT 系列使语义模糊性更难忽视而非更容易。GPT-4 报告了在多个专业和学术基准上的人类水平性能，包括模拟律师考试结果约在应试者前十分位[20 (https://arxiv.org/html/2606.07623#bib.bib20)]。GPT-4.1 报告了编码和指令遵循评估上的大幅改进，包括 SWE-bench Verified 上 54.6% 和 MultiChallenge 上 38.3%[21 (https://arxiv.org/html/2606.07623#bib.bib21)]。GPT-5 被呈现为一个结合了快速模型、更深层推理模型和路由器的系统，报告的面向开发者的分数包括 SWE-bench Verified 上 74.9% 和 Aider Polyglot 上 88%[22 (https://arxiv.org/html/2606.07623#bib.bib22)]。GPT-5.5 进一步强调了复杂的专业工作，报告了 GDPval 上 84.9%、OSWorld-Verified 上 78.7% 和 Tau2-bench Telecom 上 98.0% 而无提示微调[23 (https://arxiv.org/html/2606.07623#bib.bib23)]。这些数字本身并没有说明提示表示何种语义对象、上下文中的示例确定一个答案意味着什么、或者何时一个可见的基准跳跃对应于一个真正的语义转换。这正是本文解决的问题。

经验评估提供了分布、准确率和阈值化分数。验证需要一种不同的对象：一种逻辑，其中行为可以被陈述为一个公式，上下文可以被解释为一个更新，尺度趋势可以针对一个极限语义承诺进行测试。没有这种分离，三个不同的主张很容易被混淆。首先，一个模型可能对正确输出赋予高概率，但并未在语义上蕴含它。其次，一个提示可能覆盖先前的默认值，但并未添加一个普通的单调公理。第三，一个基准分数可能跳跃，因为观测映射是不连续的，尽管底层置信度在逐渐变化。

现有的上下文学习理论解释了这一图景的重要部分，但并未定义一个共同的语义目标。一条线索将上下文行为视为任务上的潜在贝叶斯推理[29 (https://arxiv.org/html/2606.07623#bib.bib29)]。另一条询问变换器计算是否在前向传播过程中实现了标准学习算法[4 (https://arxiv.org/html/2606.07623#bib.bib4)]。梯度下降解释给出了相关现象的操作性说明[27 (https://arxiv.org/html/2606.07623#bib.bib27)]。关于简单函数类的工作识别出可以在上下文中学习的样本序列[8 (https://arxiv.org/html/2606.07623#bib.bib8)]。机制研究解释了电路层面的规律性，如归纳头[19 (https://arxiv.org/html/2606.07623#bib.bib19)]。这些解释很有价值，但它们本身并没有产生一个一阶对象，其后果可以通过紧致性、图表、滤子或超积来研究。

相应的语义成分已经存在于逻辑和形式语用学中。蒙塔古语义学以模型论精度处理意义[18 (https://arxiv.org/html/2606.07623#bib.bib18)]。Stalnaker 的上下文集使断言成为可能性的限制[26 (https://arxiv.org/html/2606.07623#bib.bib26)]。Lewis 的记分法使话语状态动态化[16 (https://arxiv.org/html/2606.07623#bib.bib16)]。Heim 的文件变更语义学为上下文增长提供了形式纪律[11 (https://arxiv.org/html/2606.07623#bib.bib11)]。格赖斯语用学解释了字面内容和意图力为何偏离[10 (https://arxiv.org/html/2606.07623#bib.bib10)]。理性言语行为模型增加了语用推理的概率性说明[7 (https://arxiv.org/html/2606.07623#bib.bib7)]。非单调逻辑和偏好模型展示了添加信息如何改变被选择为正常或偏好的内容[15 (https://arxiv.org/html/2606.07623#bib.bib15)]。信念修正在优先级和不一致性管理下提供了另一种更新的数学语言[2 (https://arxiv.org/html/2606.07623#bib.bib2)]。

本文的贡献是将LLM特定问题转化为模型论问题。对于每个尺度 \(\lambda\)，我们使用一个元组 \(\mathbb{G}_{\lambda}=(\mathcal{L},\mathcal{K}_{\lambda},\mu_{\lambda},\mathsf{C}_{\lambda},\mathsf{U}_{\lambda},\mathsf{D}_{\lambda})\)，其中 \(\mathcal{K}_{\lambda}\) 是一类结构，\(\mu_{\lambda}\) 是可定义事件上的概率测度，\(\mathsf{U}_{\lambda}\) 是上下文更新规则，\(\mathsf{D}_{\lambda}\) 是解码核。这并不是断言变换器激活中字面包含一阶模型。这是一种行为承诺的语义表示，就像自动机、克里普克结构和概率转移系统表示行为而不复制物理实现一样。

#### 贡献。
1. **上下文确定性的识别曲线**。在有限域线性任务族中，当查询恰好位于示例设计矩阵的行空间中时被强制；剩余假设数量为 \(|\mathbb{F}|^{\,d-\operatorname{rank}(A_{n})}\)；完全识别具有曲线 \(I_{d}(n)=\prod_{i=0}^{d-1}(1-Q^{i-n})\)；固定查询确定通过平均 \((Q^{r}-1)/(Q^{d}-1)\) 在秩分布上获得（定理5.1 (https://arxiv.org/html/2606.07623#S5.Thmtheorem1)，5.3 (https://arxiv.org/html/2606.07623#S5.Thmtheorem3)，5.4 (https://arxiv.org/html/2606.07623#S5.Thmtheorem4)，5.6 (https://arxiv.org/html/2606.07623#S5.Thmtheorem6)）。
2. **证书复杂性**。有限上下文确定归约为对-分隔符击中问题（定理4.11 (https://arxiv.org/html/2606.07623#S4.Thmtheorem11)），并且提取最小强制子上下文对于二元输出已经是NP完全的（定理4.13 (https://arxiv.org/html/2606.07623#S4.Thmtheorem13)）；这联系了上下文长度与教学维度[30 (https://arxiv.org/html/2606.07623#bib.bib30)]和错误界限维度[32 (https://arxiv.org/html/2606.07623#bib.bib32)]。
3. **涌现的阈值理论**。阈值化基准跳跃并不意味着语义不连续性（定理6.8 (https://arxiv.org/html/2606.07623#S6.Thmtheorem8)）；潜在承诺变得 \(\tau\)-显现具有交叉尺度界限（定理6.5 (https://arxiv.org/html/2606.07623#S6.Thmtheorem5)）；连续度量保持渐进性（命题6.9 (https://arxiv.org/html/2606.07623#S6.Thmtheorem9)）；并且 \(k\)-字段精确匹配度量加剧了明显的跳跃并将交叉尺度放大 \(k^{1/\alpha}\) 倍（命题6.10 (https://arxiv.org/html/2606.07623#S6.Thmtheorem10)），我们随后在训练系统上观察到了这种效应（第9节 (https://arxiv.org/html/2606.07623#S9)）。这调和了涌现[28 (https://arxiv.org/html/2606.07623#bib.bib28)]和幻象[25 (https://arxiv.org/html/2606.07623#bib.bib25)]两种解释，作为同一不等式的两个区间。
4. **作为凯斯勒测度的语义置信度**。置信度泛函 \(s_{\lambda,c}\) 是可定义事件上的有限可加概率，即类型空间上的凯斯勒测度[31 (https://arxiv.org/html/2606.07623#bib.bib31)，34 (https://arxiv.org/html/2606.07623#bib.bib34)]；其测度一公式构成一个真滤子（定理2.22 (https://arxiv.org/html/2606.07623#S2.Thmtheorem22)），它承认一个Stone空间表示（定理2.25 (https://arxiv.org/html/2606.07623#S2.Thmtheorem25)），并且在定义扩展下不变（定理2.30 (https://arxiv.org/html/2606.07623#S2.Thmtheorem30)）。
5. **作为偏好更新的提示**。提示蕴含在扩展下是非单调的（定理3.4 (https://arxiv.org/html/2606.07623#S3.Thmtheorem4)）；固定偏好片段满足谨慎单调性（定理3.7 (https://arxiv.org/html/2606.07623#S3.Thmtheorem7)）；提示扩展承认一个精确保留准则（定理3.9 (https://arxiv.org/html/2606.07623#S3.Thmtheorem9)），这解释了提示的顺序和扩展敏感性[33 (https://arxiv.org/html/2606.07623#bib.bib33)]。
6. **验证、证伪和证书基准**。每个定量定理都通过受控的精确算术模拟得到确认（第8节 (https://arxiv.org/html/2606.07623#S8)）；然后三个证书家族直接提交给一个固定的当代语言模型面板，并根据精确地面真实情况进行评分（第9节 (https://arxiv.org/html/2606.07623#S9)）。由于每个族准则都是一个健全的、无预言机的检查器，验证加倍成为一个闭环：一个可证明健全、非递减的厌恶细化调度（命题7.8 (https://arxiv.org/html/2606.07623#S7.Thmtheorem8)），其范围由生成器对检查器定向反馈的响应能力决定，因此它消除了度量伪影阈值，但不消除真正的算术间隙（命题7.9 (https://arxiv.org/html/2606.07623#S7.Thmtheorem9)）。每个预测也为训练模型提供了一个可检查的协议（第10节 (https://arxiv.org/html/2606.07623#S10)）。

这些对象被构建为可重用，而不仅仅是可调用。语义置信度、识别曲线 \(I_{d}(n)\)、对-分隔符证书和交叉尺度界限 \(\lambda_{\tau}\) 各自被陈述为可测量、有界并针对训练模型进行测试，而不是仅仅作为一个概念性的区分。因此，技术目标不是对LLM行为进行分类。而是一个集合——