NL-PAC：大型语言模型中介监督中的规范歧义与经过认证的极小化极大风险下限

# 规范歧义性与大语言模型介导监督中的认证极小化极大风险下界

来源：https://arxiv.org/html/2607.08961

Berkay Anahtarci  
Özyeğin大学数学工程系，伊斯坦布尔，土耳其  
berkay\.anahtarci@ozyegin\.edu\.tr

###### 摘要

大语言模型越来越多地用于为自然语言指定的任务提供标签、评估和反馈。当规范存在多种解读，但监督通道无法揭示具体采用哪一种解读时，增加标签数量仅能减少抽样误差，却无法解决由此产生的识别问题。我们提出自然语言PAC（NL-PAC）框架，该框架利用固定模型的阈值化解码规则来定义可接受标签和候选目标。多个标签可接受的概率等于逐点可接受目标类的直径，而在目标盲监督下，每个学习者在任意样本量下的最坏情况风险至少为该直径的一半；该类别上的精确随机化极小化极大风险可由一种不依赖数据的策略实现。有限样本置信界使得这些量可以通过保留的未标注输入进行认证。在对冻结的 Qwen 2.5–3B 模型进行审计时，一个预先指定的提示产生了正的模型相对证书，而一个改写版本和精确规则控制组则产生零证书。一项保留的桥梁审计发现，所提供的候选解读子句未能满足将证书迁移至连贯解读所需的可接受性条件。该保证仅适用于被审计的模型、提示、阈值和输入分布；将其扩展到人类解读需要外部验证。

## 1 引言

现代学习流程越来越多地使用大语言模型（LLM）的判断来代替人类评估或标注，包括在 LLM-as-a-judge 系统中（Liu 等，2023b（https://arxiv.org/html/2607.08961#bib.bib37）；Kim 等，2024（https://arxiv.org/html/2607.08961#bib.bib30）；Gu 等，2026（https://arxiv.org/html/2607.08961#bib.bib21））。提示和评分规则用自然语言指定这些任务，并可能存在多种解读。监督模型可以采用其中一种解读，但不揭示其判断所依据的具体解读。当观察法则无法揭示哪种解读在起作用时，我们称这种监督通道为*目标盲*。这种情况在实践中很常见：法官模型通常通过专有 API 提供服务，其内部机制对分析者是不透明的（La Malfa 等，2024（https://arxiv.org/html/2607.08961#bib.bib33）），因此有效的解读在构造上就是不可观测的。目标盲指的是这种隐藏的解读；模型的解码概率是否暴露是另一个问题，它决定了后续审计的访问模式。由此产生的误差是解释性误差而非统计性误差：从同一个未解耦通道中获取更多观测数据无法识别有效的解读，尽管信息更丰富的通道可以做到。我们探究的是，当定义可接受目标的通道同时也是学习者的唯一监督来源时，极小化极大风险还剩多少，以及这个风险下界能否通过未标注输入进行认证。

我们将这种设置形式化为*自然语言 PAC*（NL-PAC），刻画这种通道何时会产生一个不可消除的风险下界，并将该下界转化为一个有限样本证书。经典的统计学习理论并未对任务规范与监督通道之间的这种耦合进行建模：在 Valiant（1984（https://arxiv.org/html/2607.08961#bib.bib57））的“可能近似正确”（PAC）框架中，分析者固定实例空间、分布、目标和假设类，学习者只需在该规范内估计目标时付出统计代价。这是 VC 理论及一般计算学习理论所依据的分离性（Kearns 和 Vazirani，1994（https://arxiv.org/html/2607.08961#bib.bib29））。语言模型系统打破了这种分离：任务以自然语言指令的形式给出，而监督信号则由解释同一指令的模型产生（Liu 等，2023a（https://arxiv.org/html/2607.08961#bib.bib35））。NL-PAC 将这一规范-通道对作为分析对象。形式上，一个固定的模型、提示和阈值在每个输入处诱导出一个*可接受标签集*A_τ(x)；重叠质量 D^⋆_τ = P(|A_τ(X)| ≥ 2) 是所诱导候选类的逐点可接受核的直径，而在目标盲监督下，每个学习者的最坏情况风险至少为 D^⋆_τ/2，其中确切的障碍由可接受核上的一个多重性加权值 V^⋆_τ 给出。这个界不会随样本量增加而消失。由于这个下界是模型诱导的可接受集的函数，当这些集被精确观测或通过认证的解码半径进行估计时，它可以通过未标注的部署输入进行认证。论文的其余部分将展开并审计这些量。

#### 贡献。我们建立了四个结果，共同刻画了模型诱导的歧义集如何产生一个不可消除的学习下界，以及该下界如何通过保留的未标注输入进行审计。

1. 1. **表示**。阈值化模型输出定义了一个逐点可接受核及其开 ζ-容忍类。核直径等于重叠质量 D^⋆_τ = P(|A_τ(X)| ≥ 2)，而容忍类直径位于 [D^⋆_τ, D^⋆_τ + 2ζ] 之间，两个端点都是紧的（定理 2.11（https://arxiv.org/html/2607.08961#S2.Thmtheorem11）；紧性见附录 B（https://arxiv.org/html/2607.08961#A2））。
2. 2. **盲通道价值**。目标盲导致容忍类上有一个半直径的极小化极大下界，以及核上的精确值 V^⋆_τ（定理 3.2（https://arxiv.org/html/2607.08961#S3.Thmtheorem2）和 3.5（https://arxiv.org/html/2607.08961#S3.Thmtheorem5）），且与学习者的样本量无关。后者可由一个不依赖数据的随机化学习者达到，并由一个显式的有限最不利族所见证。当在几乎每个输入处最多有两个标签可接受时，它等于 D^⋆_τ/2，并且当高阶重叠具有正质量时更为严格。
3. 3. **连贯解读**。一个显式的 η-覆盖条件界定了 V^⋆_τ 与有限族全局解读上的盲极小化极大值之间的差距（定理 3.9（https://arxiv.org/html/2607.08961#S3.Thmtheorem9））。该条件处理了逐点选择器不一定代表连贯全局解读这一事实。拟合-保留审计发现，对于所提供的双解读池，该界无信息量（第 5 节（https://arxiv.org/html/2607.08961#S5.SS0.SSS0.Px2））。
4. 4. **认证**。观测到的可接受集为成对下界、直径和精确核值提供了 Hoeffding 证书：N 个保留输入在 Hoeffding 半径下给出一个成对下界证书，而在采样解码下，半径还需额外支付阈值边际和有限深度项（命题 4.1（https://arxiv.org/html/2607.08961#S4.Thmtheorem1）；推论 4.5（https://arxiv.org/html/2607.08961#S4.Thmtheorem5）；定理 4.6（https://arxiv.org/html/2607.08961#S4.Thmtheorem6）；命题 4.9（https://arxiv.org/html/2607.08961#S4.Thmtheorem9）和 4.10（https://arxiv.org/html/2607.08961#S4.Thmtheorem10））。

#### 相邻文献。两个相邻的文献领域界定了这一问题，但并未涵盖它。噪声和弱监督假设存在一个有效目标，并分析其损坏、聚合或启发式观测（Natarajan 等，2013（https://arxiv.org/html/2607.08961#bib.bib44）；Ratner 等，2017（https://arxiv.org/html/2607.08961#bib.bib50）；Dawid 和 Skene，1979（https://arxiv.org/html/2607.08961#bib.bib15））。在经典的恶意和厌恶噪声模型中，由此产生的下界随损坏预算变化，并随着该预算消失而消失（Kearns 和 Li，1993（https://arxiv.org/html/2607.08961#bib.bib28）；Bshouty 等，2002（https://arxiv.org/html/2607.08961#bib.bib10））。实例相关噪声进一步说明了结构限制的作用：如 Cheng 等人（2020（https://arxiv.org/html/2607.08961#bib.bib11））所示，有界实例和标签相关噪声在附加条件下是可学习的，而无限制的噪声法则会使得目标-噪声分解无法识别。真实追踪分析同样询问来自不完美源的报告何时能识别外部定义的状态（Singleton 和 Booth，2024（https://arxiv.org/html/2607.08961#bib.bib51））。LLM-as-a-judge 研究则将语言作为评估界面的一部分：关于评分不确定性的工作记录了提供给法官的标准本身可能存在多种有效解读（Guerdan 等，2025（https://arxiv.org/html/2607.08961#bib.bib22））。定量分析在*外生*法官误差或偏差下界定了法官标签能在多大程度上替代真实标签（Dorner 等，2025（https://arxiv.org/html/2607.08961#bib.bib16）；Feuer 等，2026（https://arxiv.org/html/2607.08961#bib.bib19））。NL-PAC 将这些问题的一个交集分离出来：同一个规范介导的通道既定义了可接受目标，又提供了观测数据，因此它无法揭示有效解读这一问题便造成了识别障碍。该障碍由可接受解读的不可区分性决定，而非由噪声预算决定，并且是模型自身解读的内生属性。在对齐方面，一个信息论论证认为，只要条件熵存在，任何规范都无法确定一个外部目标（Young，2025（https://arxiv.org/html/2607.08961#bib.bib64）），而奖励误规范研究表明，优化一个未充分指定目标的代理可能会与预期目标产生较大偏差（Pan 等，2022（https://arxiv.org/html/2607.08961#bib.bib47））；此处认证的歧义直径正是该差距的一个可操作、模型相关的证据。最接近的已有量是部分标签学习中的*歧义度*（Cour 等，2011（https://arxiv.org/html/2607.08961#bib.bib13）；Liu 和 Dietterich，2014（https://arxiv.org/html/2607.08961#bib.bib36）），它恰好标明了候选标签歧义*不会*造成不可消除下界的条件；NL-PAC 则刻画了互补的机制，即通道无法消歧的情况。进一步的相邻文献，包括基于分歧的学习、视角主义和提示未指定性研究，以及部分识别参数的推断，在附录 D（https://arxiv.org/html/2607.08961#A4）中讨论。

#### 与经典理论的关系。NL-PAC 将经典统计决策理论实例化到一个语言介导的监督问题中。双目标和最不利先验的简化遵循标准论证（Wald，1950（https://arxiv.org/html/2607.08961#bib.bib60）；Blackwell 和 Girshick，1954（https://arxiv.org/html/2607.08961#bib.bib9）；Ferguson，1967（https://arxiv.org/html/2607.08961#bib.bib18）），并且逐输入价值等同于对抗性多类分类中的有限零一子集博弈（Fathony 等，2016（https://arxiv.org/html/2607.08961#bib.bib17））。NL-PAC 的贡献在于从固定的模型-提示配置中导出目标集和观测通道，构建一个显式的有限可接受选择器最不利族，并使所得的极小化极大值通过保留的未标注输入可认证。证明结合了经典的两点检验和集中论证（Tsybakov，2009（https://arxiv.org/html/2607.08961#bib.bib55）；Hoeffding，1963（https://arxiv.org/html/2607.08961#bib.bib24））与此模型诱导的结构。

#### 实证验证。主要实验审计了一个冻结的 Qwen 法官的声明标签条件第一个 token 概率，此时证书应用其无修正半径：一个预先指定的提示产生了正的模型相对证书，而第二个改写版本和精确规则控制组则产生零证书（第 5 节（https://arxiv.org/html/2607.08961#S5））。两项审计界定了该声明的范围：桥梁审计通过了其拟合的混合覆盖检查，但未通过其对于所提供的双解读池的保留可接受性检查；而采样解码模式在可行深度下无定论，因为其有限深度和阈值边际修正无效。恢复预设零证书和正证书案例的控制实验，以及展示多类多重性收益的 ChaosNLI 计算，见附录 C（https://arxiv.org/html/2607.08961#A3）。

#### 保证的范围。该证书量化了相对于被审计元组 (LLM_θ, Π, τ, P) 的歧义性；它本身并不能确定设计者预期的目标或建立人类任务歧义性。因此，将保证扩展到连贯的人类解读或部署设置需要覆盖性和外部构念效度证据。

#### 路线图。第 2 节（https://arxiv.org/html/2607.08961#S2）定义了可接受几何；第 3 节（https://arxiv.org/html/2607.08961#S3）推导了盲通道价值和连贯解读桥梁；第 4 节（https://arxiv.org/html/2607.08961#S4）构建了有限样本证书；第 5 节（https://arxiv.org/html/2607.08961#S5）和第 6 节（https://arxiv.org/html/2607.08961#S6）报告了实证探究、局限性和扩展。

## 2 NL-PAC 设置与模型可接受几何

本节区分四种不确定性来源：任务描述中的歧义性、模型解码中的随机性、相对于目标的误差、以及由监督通道引发的不可区分性。所得量描述的是被审计的模型和通道，而非人类解读中的歧义性。

### 2.1 监督与可接受通道

我们采用标准的 PAC 设置。设 (X, F_X) 是一个可测实例空间，Y 是带有离散 σ-代数的有限标签空间，P 是 X 上的概率测度。目标是一个可测的标记函数 f: X → Y。在经典设置中，监督由对 f(x) 的直接观测组成。而在这里，目标是通过自然语言指定的。设 T 表示模型的 token 字母表，并在有限 token 字符串集合 T^* 上赋予离散 σ-代数。任务描述和论证的空间是可测子集 S_NL, J_NL ⊆ T^*，并带有相应的子空间 σ-代数 F_{S_NL} 和 F_{J_NL}。下面使用的所有字符串集均假设为可测。一个独立于学习者提供的固定任务描述 f_NL ∈ S_NL，旨在指定目标 f。在整个过程中，可接受通道利用一个参数 θ 被冻结的预训练语言模型 LLM_θ 来解释该描述。由于 LLM_θ 是生成式的，LLM_θ(· | u) 是字符串 u ∈ T^* 上 token 字符串*延续*的分布，而不是标签集 Y 上的分布。