LLM验证器级联的部分相关性:凹对数几率、多项式可靠性与盲点上限

Hugging Face Daily Papers 论文

摘要

本文为LLM验证器中的部分相关验证器级联建立了一个最小化理论,展示了凹对数几率、多项式可靠性衰减、盲点上限,并指出去相关性比增加更多验证门更有效。

串行验证门是LLM验证器中的核心可靠性原语:只有当k次验证器调用全部接受时,才返回候选答案。在条件独立门下,最近的Odds Law(arXiv:2606.15712)表明后验对数几率随k线性增长,因此失败呈指数衰减,并指出“关于部分相关验证器级联的严密理论仍待研究”。本文给出了这样一个最小化理论。将生成器自身错误上的逐实例假阳性率建模为潜变量α∼G(de Finetti),则精确的级联后验为ell_k = ell_0 - ln m_k,其中m_k是G的第k阶矩。于是:(i) 对于任何非退化G,ell_k关于k是凹的——Odds Law是其在第一个验证门处的切线,并是一个上界;(ii) 对于Beta(a,b)潜变量,失败呈多项式衰减,1-r_k ≈ k^{-b},相关参数ρ_v = 1/(a+b+1);(iii) 在α=1处的盲点原子质量1-π将从任意数量验证门中可提取的证据上限限制在-ln(1-π)纳特,因此可靠性饱和在低于1的水平;(iv) 让真实正类率也变化(β∼H),则产生三分支——验证门最终总是有帮助、停滞或积极有害——由G和H的上尾指数决定,具有闭式交叉点k^dagger。其机制是幸存者偏差:通过验证门的错误是高α的错误。该理论是可测量的:每个实例的R次重复判定可识别G的前R阶矩,因此两次判定可识别ρ_v;Beta-二项式似然和NPMLE可恢复可靠性曲线和病态上限。在合成测试中,基于独立性的外推在k=5时低估失败20倍,在k=10时低估约3000倍;R=8的相关性拟合可以追踪保留深度。实际杠杆是去相关性——改变模型族、模态或证据来源——而非增加更多验证门。
查看原文
查看缓存全文

缓存时间: 2026/07/21 06:36

论文页面 - 大语言模型框架中的部分相关验证器级联:凹对数几率、多项式可靠性与盲点上限

来源:https://huggingface.co/papers/2607.13918

摘要

串行验证门是大语言模型框架中的核心可靠性原语:只有当k个验证器调用全部接受候选答案时,才将其返回。在条件独立门假设下,最新的Odds Law(arXiv:2606.15712)表明后验对数几率随k线性增长,因此失效呈指数衰减,并指出“部分相关验证器级联的严密理论仍有待研究”。本文对该理论进行了最小化构建。将生成器自身错误上的每实例假接受率建模为潜变量α ~ G(de Finetti),则精确的级联后验为ℓ_k = ℓ_0 - ln m_k,其中m_k是G的k阶矩。那么:(i) 对于任何非退化G,ℓ_k关于k是凹的——Odds Law是其在第一个门处的切线,也是上界;(ii) 对于Beta(a,b)潜变量,失效呈多项式衰减,1 - r_k ~ k^{-b},相关性参数ρ_v = 1/(a+b+1);(iii) 在α=1处质量为1-π的盲点原子将任意数量门可提取的证据上限于-ln(1-π)纳特,从而使可靠性饱和低于1;(iv) 令真接受率也变化(β ~ H)会导致三分法——门最终总是有帮助、达到平稳或主动有害——由G和H的上尾指数决定,并具有闭式交叉点k^†。其机理是幸存者偏差:通过门的错误是那些高α的错误。该理论是可测量的:每实例的R个重复判定可识别G的前R阶矩,因此两个判定可识别ρ_v;β-二项似然和NPMLE可恢复可靠性曲线以及病态上限。在合成测试中,基于独立性的外推在k=5时低估失效20倍,在k=10时低估约3000倍;R=8的相关性拟合可追踪保留深度。实际杠杆在于去相关——改变模型族、模态或证据来源——而非增加门。

查看arXiv页面 (https://arxiv.org/abs/2607.13918)查看PDF (https://arxiv.org/pdf/2607.13918)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.13918)

在您的代理中获取本文:

hf papers read 2607.13918

没有最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型0

没有模型链接本文

在模型README.md中引用arxiv.org/abs/2607.13918即可从此页面链接。

引用本文的数据集0

没有数据集链接本文

在数据集README.md中引用arxiv.org/abs/2607.13918即可从此页面链接。

引用本文的空间0

没有空间链接本文

在空间README.md中引用arxiv.org/abs/2607.13918即可从此页面链接。

包含本文的收藏集0

没有收藏集包含本文

将本文添加到一个收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。

相似文章

关于论辩图生成中大语言模型的验证

arXiv cs.CL

本文主张对大语言模型生成的论辩图进行分层验证,将确定性检查、求解器与大语言模型审查相结合。研究表明,大语言模型审查器能较好地检测结构缺陷,但结果不稳定,容易误拒正确的论辩图,且速度慢于精确检查方法。

逻辑正则化验证器激发大语言模型的推理能力

arXiv cs.CL

介绍了 LoVer,一种使用逻辑规则(否定一致性、组内一致性和组间一致性)来在无标签数据下提升大语言模型推理能力的无监督验证器,在推理基准测试中达到了接近监督验证器的性能。

用于 RAG 声明验证的 Jev-as-a-Judge:基于置信度门控的非生成式验证器与前沿大语言模型级联

arXiv cs.CL

该论文在 LLM-AggreFact 的 495 条主张上,评估了非生成式决策模型 Jev 与前沿大语言模型(gpt-6-astra)在 RAG 主张验证任务中的表现,发现两者的总体准确率在统计上无显著差异,成本却相差 187 倍,且错误分布差异很大;研究还表明,基于置信度门控的级联系统可以降低成本,但表现并未优于条件匹配的随机升级对照方案。