面向开放权重安全的分布特定曲率控制与有限样本保证

arXiv cs.LG 论文

摘要

本文提出HarmAlign方法,该方法沿估计的对比激活子空间应用函数保持的谱变形,在保留良性适应性的同时阻止开放权重模型的有害微调,并提供了有限样本保证和实证验证。

arXiv:2607.22929v1 Announce Type: new 摘要:一次短暂的微调运行即可解除开放权重模型的安全防护——将经过拒绝训练的助手重新训练以协助武器开发或生成仇恨言论。在保留良性适应性的同时阻止此类有害微调仍然困难:先前唯一具有显式曲率保证的方法——谱变形——会全局性地增大曲率,从而阻碍良性适应和有害适应。我们提出HarmAlign,该方法沿估计的对比激活子空间应用函数保持的谱变形。我们推导了估计子空间能量以及由此产生的局部有害分布曲率下界的有限样本界。恒定步长梯度下降的稳定性-进展二分法将经认证的曲率转化为条件性收敛速度控制。实验上,在固定架构、有限预算的一阶威胁模型下,HarmAlign在危险知识重新学习场景和有害助手微调场景中阻止了直接微调和三种数据或目标自适应攻击,同时受保护的良性任务保持可训练。这种阻止在所有测试的一阶优化器变体上的每个攻击检查点均持续存在,且在分布外有害微调下也有效,并扩展到我们威胁模型中的重要情况:意外安全退化和紧急错误对齐。
查看原文
查看缓存全文

缓存时间: 2026/07/28 06:23

# 面向分布特定曲率控制的有限样本保证:开源权重安全 来源:https://arxiv.org/html/2607.22929 Domenic Rosati1,2, Ali Dadsetan1, Hong Huang1, Xijie Zeng1,2, Hassan Chowdhry1, Subhabrata Majumdar3, Hassan Sajjad1, Frank Rudzicz1,2 ###### 摘要 一个简短的微调运行就能撤销开源模型的安全防护——将经过拒绝训练助手的模型重新训练成帮助武器开发或生成仇恨言论。防止这种有害微调同时保留良性适应性仍然困难:唯一先前带有显式曲率证书的方法,即光谱变形,会全局性地膨胀曲率,从而阻碍良性适应和有害适应。我们提出HarmAlign,该算法沿着估计出的对比激活子空间进行函数保持的光谱变形。我们推导了估计子空间能量以及由此产生的局部有害分布曲率下界的有限样本界。常步长梯度下降的稳定性-进展二分法将认证曲率转化为条件收敛率控制。实验上,在固定架构、有限预算的一阶攻击威胁模型下,HarmAlign在危险知识重新学习设置和有害协助微调设置中,阻挡了直接微调和三种数据或目标自适应攻击,而受保护的良性任务仍可训练。这种阻挡在测试的一阶优化器变体上跨所有攻击检查点持续存在,并且在分布外有害微调下依然有效,并且扩展到我们威胁模型中的重要情况:意外安全退化和新兴的未对齐。 ## 1 引言 开源基础模型存在独特的安全风险:相对较短的微调运行可以大幅削弱模型的安全防护(Bengio et al. 2026 (https://arxiv.org/html/2607.22929#bib.bib3); Qi et al. 2024 (https://arxiv.org/html/2607.22929#bib.bib20)),而能否完全防止对公开发布模型的有害修改仍然是一个开放问题。许多针对有害微调的防御方法——表示工程、抗篡改训练、元学习鲁棒性(Rosati et al. 2024 (https://arxiv.org/html/2607.22929#bib.bib22); Tamirisa et al. 2025 (https://arxiv.org/html/2607.22929#bib.bib25); Huang et al. 2024 (https://arxiv.org/html/2607.22929#bib.bib13))——都已被自适应攻击大幅削弱(Qi et al. 2025 (https://arxiv.org/html/2607.22929#bib.bib19); Zloczower et al. 2026 (https://arxiv.org/html/2607.22929#bib.bib31))。Rosati et al. (2026 (https://arxiv.org/html/2607.22929#bib.bib23)) 区分了针对任意权重修改的安全性,与针对更窄的一阶攻击者类别的定量保证。他们的构造在不改变所表示函数的情况下增加了一个平滑参数;其保证——混合网络-海森块的条件下界——扩大了一个类别级别的充分迭代次数,而不是强制某个特定攻击实例变慢,并且其条件是分布无关的,阻碍了良性和有害微调。这留下了两个空白——*全局与分布特定*控制,以及*类别级别与每个实例*保证——并引出了我们的研究问题:能否将曲率控制局部化到有害分布,同时限制其对指定良性分布的影响?具体来说,我们的贡献如下: 参见图注 参见图注 图1:HarmAlign创建了一个选择性优化障碍。顶部:HarmAlign沿估计的有害子空间应用重参数化;初始化时,表示的函数在数值误差范围内保持不变。底部:有害微调发散(损失上升,coherent-ASR 0.00),而良性微调收敛(E2E 0.76)。 1. 1. 局部曲率控制。HarmAlign从有害和良性二阶矩估计一个对比激活子空间,并沿该子空间应用光谱变形,增加有害分布曲率,同时限制测量的良性泄漏(第4节 (https://arxiv.org/html/2607.22929#S4))。 2. 2. 带条件速率控制的有限样本保证。对于固定范数界限、置信水平和特征间隙,子空间能量估计误差以有害和良性样本数量n和m的O(n^{-1/2} + m^{-1/2})量级缩放(定理4.8 (https://arxiv.org/html/2607.22929#S4.Thmtheorem8), 4.4 (https://arxiv.org/html/2607.22929#S4.SS4) 和3 (https://arxiv.org/html/2607.22929#A4.F3)),认证曲率为常步长梯度下降产生条件收敛率证书:有害成功所需的迭代次数随τ^2增长(第4.4节 (https://arxiv.org/html/2607.22929#S4.SS4.SSS0.Px1))。 3. 3. 自适应实证评估。我们在预设的学习率网格上评估直接微调和三种数据或目标自适应攻击(第5节 (https://arxiv.org/html/2607.22929#S5))。在选定的操作点上,所有有害指标保持在恢复水平以下(WMDP-生物 ≤ 0.33;BeaverTails coherent-ASR 0.00),而受保护的良性任务保留微调增益,并且该障碍在测试的一阶优化器变体(0.00)和中间攻击检查点(≤ 0.13)上鲁棒,并包含意外安全退化和新兴未对齐的案例研究。据我们所知,这是第一个通过分布特定激活几何来局部化曲率膨胀的构造,并带有有限样本保证——将表示几何转化为一个选择性优化障碍,对常步长梯度下降具有条件速率控制。 ## 2 背景 令 D 是一个输入-目标对 (x, y) 上的分布,f_θ 是一个参数为 θ ∈ Θ 的模型。微调是从在 D_pre 上预训练获得的参数开始,最小化总体风险 L_D(θ) := E_{(x,y)~D}[ℓ(f_θ(x), y)]。在理论部分,我们将模型写为线性映射和非线性函数的复合,权重为 θ^(i) ∈ R^{d^(i) × d^(i-1)};有界激活、损失和架构假设在使用处注明,实验部分通过相应的规范对称性在Transformer注意力模块中实例化该构造(第J.1节 (https://arxiv.org/html/2607.22929#A10.SS1))。 威胁模型。攻击者获得防御后的权重。他们可以选择有害数据集、可微训练损失、小批量顺序、学习率调度和来自所述类别 A 的优化器,并且可以在计算预算内最多更新所有现有模型参数t步。架构和参数化是固定的;对其的修改、蒸馏、从头训练和推理时间攻击不在形式威胁模型范围内。我们的实验考虑了该范围内的直接微调和自适应数据选择或损失公式策略。由于模型约束的是微调过程而非攻击者的意图,因此它也捕获了导致相同失败的非对抗性途径——最显著的是良性微调期间的*意外*安全退化和*新兴*未对齐(表3 (https://arxiv.org/html/2607.22929#A3.T3) 和 4 (https://arxiv.org/html/2607.22929#A3.T4))。 ## 3 相关工作 非凸随机优化的下界。这些下界是在函数类上的极小极大最优:Arjevani et al. (2023 (https://arxiv.org/html/2607.22929#bib.bib2)) 在L-平滑目标上得到了 Ω(ΔLσ_g²ε^{-4}) 的 oracle 复杂度,其中 Δ = L(θ_0) - inf_θ L(θ) 是初始目标间隙,σ_g² 是随机梯度方差的上界,ε 是目标平稳性。因此,认证曲率的增加只会扩大这些类别级别的*充分*保证;它不会强制某个特定攻击实例变慢。我们在这方面的进展是每个实例层面的:针对防御目标上的常步长GD,我们给出一个稳定性-进展二分法。 实证抗篡改防御。TAR 元学习一种权重,其微调轨迹能够抵抗有害目标 (Tamirisa et al. 2025 (https://arxiv.org/html/2607.22929#bib.bib25));RepNoise 将有害表示推向噪声,具有信息论动机 (Rosati et al. 2024 (https://arxiv.org/html/2607.22929#bib.bib22));Deep Ignorance 从预训练数据中过滤危险知识 (O'Brien et al. 2025 (https://arxiv.org/html/2607.22929#bib.bib18))。这三种方法都基于经验动机,并且不提供关于攻击者微调过程的*优化理论*保证(对攻击所需步数的界);自适应评估已经依次削弱了每种方法 (Qi et al. 2025 (https://arxiv.org/html/2607.22929#bib.bib19); Zloczower et al. 2026 (https://arxiv.org/html/2607.22929#bib.bib31))。 全局曲率控制。Rosati et al. (2026 (https://arxiv.org/html/2607.22929#bib.bib23)) 通过认证一个类别级别的条件参数,并*假设*一个受稳定性约束的攻击者因此使用成比例更小的步长,解决了针对一阶攻击者类别的这个空白。他们的构造全局性地增加了相关的平滑参数——在该假设下,这提高了恢复危害所需的步数——但代价是如前所述阻碍了良性适应。我们在两点上有所不同:证书是局部化到一个分布的,并且步长限制是推导出来的,而不是在受限的优化器类别上假设的(定理 K.4 (https://arxiv.org/html/2607.22929#A11.Thmtheorem4) 和 K.3 (https://arxiv.org/html/2607.22929#A11.SS3.SSS0.Px2))。相反,HarmAlign 选择具有高有害二阶矩能量和较低良性能量的方向,产生最小的局部曲率泄漏。而且,全局证书的信息量依赖于难以表征的层间主角因子,而局部证书的参数化直接通过可测量的有害和良性激活能量,并带有显式的有限样本估计惩罚(第4.4节 (https://arxiv.org/html/2607.22929#S4.SS4))。在由此产生的分类学中——能力移除和数据排除、表示折叠免疫、全局曲率控制、分布特定曲率控制、以及架构或认证机制——HarmAlign 是一种*分布特定、功能保持的优化障碍*:它不是能力移除,并且不提供对抗架构或参数化修改的保证。 ## 4 认证的局部曲率控制 本节通过五个相互关联的步骤发展理论:补偿重参数化的*功能不变性*(第4.1节 (https://arxiv.org/html/2607.22929#S4.SS1));*子空间能量控制曲率*(第4.2节 (https://arxiv.org/html/2607.22929#S4.SS2));*对比算子选择*该子空间(第4.3节 (https://arxiv.org/html/2607.22929#S4.SS3));*有限样本估计*它(定理4.8 (https://arxiv.org/html/2607.22929#S4.Thmtheorem8) 和 4.4 (https://arxiv.org/html/2607.22929#S4.SS4));认证曲率产生针对常步长梯度下降的*条件速率控制*(第4.4节 (https://arxiv.org/html/2607.22929#S4.SS4.SSS0.Px1))。全文中,z ~ D_harm 和 z ~ D_ben 表示在有害和良性分布下进入防御层的激活值,原始二阶矩为 M_H 和 M_B(在层的右奇异坐标中形成,第4.1节 (https://arxiv.org/html/2607.22929#S4.SS1))。对比二阶矩算子 S_λ := λM_H - (1-λ)M_B,λ∈[0,1],定义了受控激活子空间:其顶部特征向量,收集为 Π 的列,将有害激活质量路由到膨胀的谱上,同时限制良性质量,并且 Π 是每个后续界都使用的对象。图2 (https://arxiv.org/html/2607.22929#A2.F2) 总结了数据可用性制度,从无数据全局控制到两侧估计。 ###### 定义 4.1 (分布特定曲率重参数化)。对于目标曲率水平 L_tar > 0 (我们在此引入的量;它起到平滑参数的作用) 和功能容忍度 ε_func ≥ 0,一个映射 T_{L_tar}: f_θ → f_{θ'} 是一个*分布特定曲率重参数化*,如果对于固定分布 D,满足 ‖H^{L(D)}_{θ'}‖_op ≥ L_tar 且 d(T_{L_tar}[f], f) ≤ ε_func。第4节 (https://arxiv.org/html/2607.22929#S4) 是 Rosati et al. (2026 (https://arxiv.org/html/2607.22929#bib.bib23)) 的函数保持谱曲率重参数化类的一个分布索引实例:条件二是他们的功能保持要求,曲率证书是他们限制到分布 D 的证书。因此,HarmAlign 继承了该类的构造性因子分解脆弱性作为一个推论,而不是一个单独的实证发现(第H.1节 (https://arxiv.org/html/2607.22929#A8.SS1)),这里的贡献是局部化在该*类内部*所带来的效果,而不是从中逃脱。在秩为 r 的缩减SVD下,我们使用 T_k := diag(τ I_k, I_{r-k}), τ ≥ 1, 其中 τ 是变形的*控制参数*:乘以顶部 k 个奇异值的因子,因此诱导曲率按 τ^2 σ_j^2 缩放(第4.2节 (https://arxiv.org/html/2607.22929#S4.SS2))。我们保留 σ_j 表示奇异值;SpecDef 表示全局幅度的 σ 是应用到所有坐标的相同控制参数 (Π=I, k=r)。我们的目标是将得到的曲率项局部化到指定分布。 ### 4.1 带基变换的谱变形 膨胀 θ^(i)=UΣV^T 的顶部 k 个奇异值作用于激活值的右奇异坐标 v_j^T z。由于本地坐标不能同时对 z ~ D_harm 大而对 z ~ D_ben 小,我们首先旋转到一个分离两个分布的坐标系(有序基)并仅在那里进行膨胀。 ###### 定义 4.2 (带基变换的谱变形)。令 θ^(i) ∈ R^{d^(i) × d^(i-1)} 是第 i 层的权重矩阵,其SVD为 θ^(i)=UΣV^T。一个*带基变换的谱变形*产生一个变形后的权重矩阵和一个补偿项: θ^(i)' = U T_k Σ Π^T V^T, θ^(i)_comp = U Σ (T_k Σ Π^T)^{-1} U^T, 其中 T

相似文章

GradShield:保持对齐的微调

arXiv cs.CL

GradShield 引入了一种基于原则的过滤方法,通过计算微调隐式有害性评分(FIHS)并使用自适应阈值去除有害数据,在微调过程中保持 LLM 的安全对齐,在保持实用性的同时实现较低的攻击成功率。

关于支持保持对齐和有界过滤的局限性

arXiv cs.LG

本文研究了对齐和有界安全过滤器能否完全消除大型语言模型中的有害输出,提供了理论论证和实验证据,表明在这些约束条件下,有害输出率会稳定在一个高于零的水平。

请展露倾向:利用合成文档微调揭露伪装对齐的大语言模型

arXiv cs.AI

本文提出了合成文档微调(SDF),通过教导模型某些关键词意味着不对齐行为不会被发现,扩大有提示词与无提示词的提示之间的行为差异,从而暴露伪装对齐的大语言模型中潜藏的不对齐倾向。作者还提出了一种同策略蒸馏方法,以缓解 SDF 对推理能力造成的损害。

保形椭球体的尾部感知几何学习

arXiv cs.LG

本文提出了一种针对保形椭球体的尾部感知几何学习框架,该框架将尾部敏感性与覆盖保证解耦,从而改进了多变量设置下的不确定性量化。