仅付费于分歧:具有匹配标签复杂度界限的模型更新认证无退化判定

arXiv cs.LG 论文

摘要

本文提出了一种认证协议,用于审计模型更新,该协议通过利用模型分歧来最小化标注成本,并提供无退化的统计保证。

arXiv:2609.17560v1 Announce Type: new 摘要:每个生产模型都会通过重新训练、微调、量化或静默供应商更换进行更新,而每次更新都可能比替代的模型更差。我们将更新提升形式化为认证配对风险差审计。我们的起点是一个支撑恒等式:两个模型之间的风险差存在于它们分歧的输入上,无需标签即可观察。我们构建了DISCERN,一个顺序两层协议。零标签层仅通过未标记流量认证分歧率低于容差的良性更新。审计层仅通过任意时间有效的置信序列标记采样分歧,该序列在每个停止时间和任何标签路由规则下有效,即使对于对抗性法官也是如此。我们证明了有限样本有效性和匹配的标签复杂度界限,其阶为rho^2/eps^2在速率水平上,因此利用免费分歧可证明节省1/rho因子,优于任何配对盲审计员,并且该保证可以从一个错误预算组合到无限序列的提升中。在超过785个更新对的14,000多个重放审计流中,包括高达1.4B参数的语言模型的LoRA微调,误覆盖率为0.0002(名义5%),功效为0.986,零误报,56%的良性更新以零标签认证。每次审计都会发出一个机器可检查的证据记录,用于售后市场监控。
查看原文
查看缓存全文

缓存时间: 2026/09/17 08:39

# 模型更新中的匹配标签复杂度边界与无回归认证结论
来源:https://arxiv.org/html/2609.17560
\\nameVishnu Bindu Balachandran\\emailvishnubindubalachandran@outlook\.com
\\addr独立研究者
\\addrwww\.vishnubindubalachandran\.com
###### 摘要
每个生产模型都会通过重新训练、微调、量化或静默供应商替换进行更新,而每次更新都可能劣于其替代版本。我们将更新推广形式化为认证配对风险差异审计。我们的出发点是一个支撑恒等式:两个模型之间的风险差异仅存在于它们不一致的输入上,这些输入无需标签即可观测。我们构建了Discern——一个顺序两层协议。零标签层仅根据未标记流量中的不一致率低于容忍度来认证良性更新。审计层仅通过一个随时有效置信序列对采样的不一致点进行标记,该序列在任意停止时间和任何标签路由规则下均有效,甚至适用于对抗性评判者。我们证明了有限样本有效性和匹配的标签复杂度边界\\(\\widetilde\\Theta(\\rho^2/\\varepsilon^2)\\),在速率层面上,利用免费的不一致信息可证明性地比任何配对无关审计器节省\\(\\Theta(1/\\rho)\\)的因子,并且该保证可在单个错误预算下通过无限序列的推广进行组合。
在785个更新对(包括高达14亿参数的语言模型LoRA微调)上进行的14,000次重放审计流测试中,误覆盖率为0.0002(名义5%),功效为0.986且零误报,56%的良性更新无需标签即可认证。每次审计均输出符合欧盟人工智能法案事后监督要求的机器可验证证据记录。
关键词:模型更新、随时有效推断、标签复杂度、置信序列、部署监控
## 1引言
生产环境中的机器学习系统并非静态产物。团队会在新数据上重新训练、调整超参数、在新领域进行微调、量化权重以降低推理成本、将大模型蒸馏为小模型,并在托管API提供商更换骨干网络时吸收静默的上游变更。每个此类事件都用候选模型g替换已部署模型f,而每次替换都带来相同的运行风险,因为更新可能悄然劣于其替代版本,可能是整体性能下降,也可能是对重要流量切片的影响。事后事件报告和关于模型更新的波动性与向后兼容性文献多次记录了这一故障模式(Milani Fard等,2016;Yan等,2021;Srivastava等,2020)。尽管这类事件无处不在,但大多数组织中的推广决策在统计上是非正式的。主流做法包括:(i) 固定的离线测试集,无法反映当前流量且因重复使用而耗尽;(ii) 基于业务指标的A/B测试,速度慢、暴露成本高,且无法认证模型正确性;(iii) 对采样流量进行均匀标记活动,这在统计上是合理的,但为大量不提供更新相关信息的标签付出了代价。第三点是关键。如果新旧模型对某流量点达成一致,则无论真实标签如何,该点对它们之间的风险差异贡献为零。花费在一致点上的标签是浪费的,而在现实更新中,模型在80%到99.9%的流量上达成一致。
本文将推广决策视为一个具有一流统计对象,包含带认证的结论、匹配的标签复杂度边界以及跨更新序列的终身健全性。我们研究候选模型g与现有模型f之间的配对风险差异\\(\\Delta = \\mathbb{E}[\\ell(g(X),Y)] - \\mathbb{E}[\\ell(f(X),Y)]\\),符号使得\\(\\Delta > 0\\)表示更新导致回归。操作者希望在容忍度\\(\\varepsilon\\)和置信度\\(1-\\delta\\)下获得两种带认证的结论之一:要么是断言\\(\\Delta < \\varepsilon\\)的无回归证书,要么是断言\\(\\Delta > 0\\)的回归警报。审计必须在实时流量上运行,在操作者持续窥探且证据充足即停止时必须保持有效,并且必须尽可能减少人工标签消耗。
#### 支撑恒等式及其推论。一切源于一个基本观察。设\\(A = \\mathbf{1}\\{f(X) \\neq g(X)\\}\\)为不一致指示器,由于两个模型都已对流量进行评分,因此可以免费获得。对于任何仅通过预测依赖于输入的损失函数,一致时会强制损失相同,因此配对差异D在\\(A=0\\)时消失,且\\(\\Delta = \\mathbb{E}[D A], \\quad |\\Delta| \\leq B \\rho, \\quad \\rho := \\mathbb{P}(A=1)\\),(1)其中B界定了损失范围。恒等式(1)有两个推论,我们将据此发展出完整理论。首先,如果未标记流量证明\\(\\rho \\leq \\varepsilon/B\\),则无需标签即可认证\\(|\\Delta| \\leq \\varepsilon\\)。量化构建、常规重训练和超参数调整通常属于此范畴,在我们的实验中,98%的此类良性更新实现了无标签认证。其次,当\\(\\rho\\)不可忽略时,关于\\(\\Delta\\)的所有信息都集中在不一致点上,因此审计器应只在那里标记。
图1概述了所得协议。我们通过包裹在经验伯恩斯坦置信序列中的重要性加权估计器来精确描述这一点,并证明它不仅是一个好主意,而且是速率最优的。其标签复杂度在对数因子内匹配信息论下界,而与任何配对无关程序的差距恰好是不一致率本身。
需要先做一个范围说明。支撑恒等式要求损失仅通过预测依赖于输入(假设1),这适用于标准监督损失和我们实验中的分类微调,但排除读取模型评分或评判者判定的损失,包括校准、偏好或奖励损失。我们的认证保证适用于该由预测决定的类别。针对模型输出李普希茨连续的评分读取损失(涵盖校准和平滑奖励目标)的软推广将在第5.6节阐述;开放式评判生成仍在理论之外,我们未对此声称。
参见图注图1:Discern协议,按其消耗组织。在免费通道中,两个模型对未标记流量进行影子评分,不一致指标流(门的两个分支)驱动关于\\(\\rho\\)的零标签置信序列,当\\(B\\overline{\\rho}_t < \\varepsilon\\)时,更新无需单个标签即被认证为安全(第0层)。仅采样的不一致点进入付费通道,通过可预测的路由规则和重要性加权增量,并由关于\\(\\Delta\\)的随时有效置信序列发布结论(第1层)。所有显示的量均在第6节测量。简而言之,56%的良性审计无需标签即可认证,审计通道支付的中位数标签数为327,而均匀标记为2,906,注入的回归警报中位数在964个流点触发。页脚列出了论文的正式保证。
#### 贡献。
1. 问题形式化。我们将推广推广为具有随时有效语义的认证配对风险差异审计(第3节),这是一个区别于单模型风险认证、两样本测试和离线评估的对象。一个软支撑恒等式(命题14)将整个协议从由预测决定的损失推广到模型输出李普希茨连续的损失,如校准和平滑奖励损失。
2. Discern协议。一个两层顺序审计(第4节),包含来自未标记不一致监控的零标签证书,以及一个审计层,该层在任何可预测的路由规则下标记采样的不一致点,具有按切片同步结论和跨整个推广序列的族系健全性(命题13)。
3. 有效性理论。在每个数据依赖停止时间,对于每个可预测路由规则(评判者驱动或对抗性),审计估计的时间均匀\\((1-\\delta)\\)覆盖(定理4,定理5)。
4. 匹配的标签复杂度边界。对于\\((\\varepsilon,\\delta)\\)结论的\\(\\widetilde{O}(B^2\\rho^2/\\varepsilon^2 + B\\rho/\\varepsilon)\\)标签上界(定理7),以及针对任何自适应标记-停止过程的基于测度变化下界\\(\\Omega(\\rho^2\\varepsilon^{-2}\\log(1/\\delta))\\)(定理8),在对数因子内匹配。
5. 配对的价值。任何无法看到不一致信号的程序需要\\(\\Omega(\\rho\\,\\varepsilon^{-2}\\log(1/\\delta))\\)标签(定理9),而均匀标记实现了这一点。因此,配对带来了\\(\\Theta(\\rho)\\)的因子,这是一种用计算换标签的交换,在未标记流量上运行两个模型(成本低廉)消除了人工标记(成本高昂)的\\(1/\\rho\\)倍数。
6. 大规模验证。一项预先注册的评估,涵盖715个特征空间更新对和6,890个重放审计流,跨越四种特征模态和十一种更新类型,加上70个真实的Pythia语言模型LoRA微调更新对(另外140个流),并在保留的种子系列上进行保留确认(第6节)。经验误覆盖率为0.0002(名义5%),功效为0.986且零误报,标签消耗符合理论规律,\\(R^2 = 0.999\\)。与预测驱动和主动测试基线的顺序改编在相同流上的直接比较(第6.4节),以及一个在对抗性漂移下修复校准的窗口变体(第6.5节),完成了经验论证。
#### 为何这是认证方法的正确目标。
证书的价值仅体现在它所支持的决策上。这里的决策是具体且重复的,即是否推广或保留更新。法规正趋向于相同对象。欧盟人工智能法案第72条要求高风险系统的提供者运行与风险成比例的事后监督,第12条的日志记录义务要求系统变更的可追溯证据。Discern审计每次推广都发出一个机器可验证的元组(容忍度、置信度、结论、标签消耗、停止时间、切片结果),直接作为此类证据。在更新监控文献中不存在类似的有限样本工具,这些文献要么假设存在已标记的评估集,提供渐近或启发式监控,要么认证单模型属性而非推广决策实际消费的配对差异(第2节)。
## 2相关工作
#### 分类器的配对比较。配对准确性比较取决于不一致对的观察可追溯至McNemar(1947),而两样本测试的顺序处理是经典的(Wald,1945)。将裁决限制于不一致对以节省标签的做法在固定样本模型评估中反复出现,Musgrove等(2023)报告了超过90%的裁决减少,但基于假设的类别流行率,且既无顺序保证也无下界。我们的贡献不是恒等式本身,而是它在现代约束下的推论,即连续监控下的随时有效性、带重要性加权的自适应标签路由、匹配的标签复杂度边界以及零标签层。最近用于配对评估的分辨率诊断(Kotawala,2026)量化了固定n比较是否有足够的已标记点来解决,但假设标签已存在。我们优化并认证标签过程本身。
#### 随时有效推断。我们的置信序列建立在非负上鞅论证(Ville,1939;Robbins,1970)、现代经验伯恩斯坦置信序列(Howard等,2021;Waudby-Smith和Ramdas,2024)以及博弈论测试方案(Ramdas等,2023)的时间均匀边界之上。投注式审计已用于固定模型的公平性属性(Chugg等,2023)和具有随时有效保证的单一AI系统自适应审计(Zhou等,2026)。LLM评估管道的顺序漂移归因(Li,2026)随时间监控评判管道。在机制上最接近的,Karampatziakis等(2021)在投注鞅内使用带重要性权重的离策略置信序列,并将其应用于上下文老虎机系统的门控部署,Xu等(2024)在查询预算的主动标记下构建了随时有效的风险控制预测集。这些共享我们的核心机制:自适应查询下随时有效投注置信序列中的Horvitz-Thompson权重。这些随时有效审计均未针对配对更新增量,均未利用不一致支撑来驱动零标签层,均未表征标签复杂度或证明匹配下界。我们使用置信序列机制作为组件,并证明了推广问题的速率匹配复杂性结果。
#### 模型比较与更新批准。两条先前的路线与我们的对象最接近。Sawade等(2012)在固定标签预算上比较两个给定模型的风险,通过从方差最优工具分布中采样测试实例,即带主动、重要性加权标记的配对对象。他们的保证是渐近正态近似检验。

相似文章

当无基准存在时:验证无真实标签的LLM安全评分比较

Hugging Face Daily Papers

本文介绍了一个框架,用于在没有真实标签的情况下验证LLM安全评分比较,通过使用'工具有效性链'来建立部署证据。该方法通过一个名为SimpleAudit的本地优先工具在挪威安全包上进行了演示,并比较了Borealis和Gemma 3等模型。