证书失效时:嵌入式神经接口模型的统一安全框架
摘要
本文表明,嵌入式神经接口模型的正式鲁棒性证书可能在任务准确率因对抗攻击而崩溃时仍能通过,并提出一个统一的实证审计框架,以解决训练目标与操作用户福利之间的对齐失败问题。
查看缓存全文
缓存时间: 2026/07/09 07:42
# 当认证失效:嵌入式神经接口模型的统一安全框架 来源:https://arxiv.org/html/2607.06630 ###### 摘要 嵌入式神经接口模型的正式鲁棒性认证可能在任务准确率崩溃时仍然通过:在扰动预算 ε=0.25 下,EEGNet 分类准确率在投影梯度攻击下下降 25.7%,而 Lipschitz 风格的认证对所有 9 名受试者仍然有效。我们认为,数学认证与操作安全性之间的这种差距是神经接口中更广泛的对齐失效的一个实例——训练目标与用户福祉背道而驰。我们提出了一个统一的实证审计框架,围绕三种此类失效组织:*验证不足*,即认证通过而任务行为退化;*代理保真度偏离*,即任务优化的表征损害神经信号结构(时域辅助目标使重建 MSE 降低 0.1132,却使频谱对数 MSE 恶化);以及*潜在信息泄露*,即公共任务嵌入保留私有属性(受试者身份可恢复率 48.1%,对比随机概率 6.7%)。我们在 BCI Competition IV 2a 和 SEED-IV 上,使用多种深度和经典 EEG 解码器、官方会话级验证、零对照、配对统计检验来实例化该框架。验证差距在 EEGNet、CSP+LDA 和 FBCSP+LDA 中持续存在,因此与架构无关。我们的结果表明,负责任的神经接口部署需要操作安全审计,而非仅认证验证。 ## 1 引言 神经接口正从实验室原型走向临床部署,涵盖康复、辅助沟通、神经假肢控制和情感计算等领域 [27, 16, 9]。在这些系统中,嵌入式机器学习模型将嘈杂的神经测量转化为关于意图运动、认知状态或设备控制的安全相关决策 [15, 22]。这些决策中的错误可能影响用户的自主权、沟通能力、治疗方案和隐私,即使模型小到可以在边缘设备上运行 [19, 11]。 这使得神经接口部署在具体技术意义上成为一个对齐问题。模型针对一个易处理的训练目标进行优化:分类准确率、重建损失或校准性能,而用户的真实福祉包含更广泛且难以形式化的目标:可靠的意图表达、保留临床有意义的信号结构、在扰动下优雅降级,以及保护私人神经属性 [1, 21]。因此,一个神经解码器可能在训练代理上成功,却在激励接口的用户级目标上失败 [17]。本文将这种不匹配当作一个工程对象来处理,询问实证安全审计是否能揭示学习到的代理与操作用户福祉之间的偏离之处 [21, 14]。 当前神经接口的安全工作较为零散。鲁棒性研究测试解码器在噪声和对抗性操纵下的稳定性 [18, 3]。信号保真度研究测试学习到的表征是否保留生理上有意义的结构 [15, 22]。隐私研究测试嵌入是否泄露预期任务之外的敏感属性 [11, 19]。这些工作各有必要,但将它们独立对待掩盖了一个共同的失效模式:部署的模型满足一个狭窄的规范,却违反了更广泛的安全要求 [1, 8]。一个鲁棒性认证可以验证一个数学不等式,却不说明任务失败的情况;一个分类器可以优化运动想象准确率,同时扭曲忠实沟通所需的神经信息;一个编码器可以支持预期任务,却在其潜在表征中保留私有的受试者身份。现有框架未能将这三个现象——鲁棒性认证、代理保真度偏离和潜在隐私泄露——作为神经接口对齐失效的相关表现联系起来。 这种差距最尖锐的例子出现在形式化验证和鲁棒性认证中 [7, 26, 5]。Lipschitz 风格的边界、谱约束、边际认证以及相关的验证工具提供了关于模型输出在有限输入扰动下变化程度的充分数学陈述 [4, 26, 6]。此类认证对安全关键系统具有吸引力,因为它们将原本实证性的鲁棒性问题转化为模型类别或学习参数的可检查属性 [5]。然而,一个认证可能为真,但在操作上无信息价值——如果它过于保守,如果它认证的是输出移动而非任务正确性,或者如果被认证的属性与部署风险不一致 [7, 26]。我们在嵌入式 EEG 解码中实证展示了这种失效模式:保守的输出敏感性检查在受试者和扰动预算上均通过,而对抗性扰动的输入导致运动想象分类准确率急剧下降。在该结果的最强版本中,官方会话的 EEGNet 和经典 CSP/FBCSP 解码器在有限投影梯度攻击下丧失大量准确率,即使保守的认证风格通过条件仍然满足。一个数学上有效的认证可能无法标记出对用户或监管者至关重要的操作风险。 我们提出了一个统一的实证审计框架,基于三种 AI 安全失效模式,并在公开 EEG/BCI 数据上实例化 [1, 17, 8]。首先,验证审计(E1)针对欺骗性对齐的操作类比:模型或认证在被审计的形式属性下看似安全,而行为在任务相关压力下退化 [10]。其次,代理保真度审计(E2)针对规格游戏:表征可以优化代理任务,同时未能保留更丰富保真度目标所需的神经信号属性 [1, 17]。第三,隐私泄露审计(E3)针对潜在信息泄露:为公共任务训练的嵌入可能保留可恢复的私有属性,如受试者身份,即使这些属性并非预期的接口输出 [11, 19]。我们在 Braindecode EEGNet、CSP+LDA 和 FBCSP+LDA 上,使用官方 BCI Competition IV 2a 训练到评估协议、SEED-IV 会话分割隐私探测(四种探测族)、标签和私有属性排列控制、生理扰动压力测试以及配对统计分析,来验证这些审计 [15, 2, 13, 22]。在这些证据基础上,核心结果是保守认证可能通过而任务行为崩溃,这促使将验证、保真度和隐私作为关联的安全要求而非孤立基准进行审计。 #### 贡献。 (1) 我们将嵌入式神经接口安全表述为一个对齐问题,并定义了三种失效模式:验证不足、代理保真度偏离和潜在信息泄露,这些模式源自 AI 安全文献中的共同分类法。(2) 我们将此分类法实例化为对公开 EEG/BCI 数据集的实证审计,表明保守的 Lipschitz 风格鲁棒性认证通过,而分类准确率在有限对抗扰动下下降高达 25.7%;该结果在 EEGNet、CSP+LDA 和 FBCSP+LDA 解码器上均成立。(3) 我们表明代理保真度偏离与目标相关(时域和频谱保真度无法同时保留),并且公共任务嵌入以 48.1%(对比随机概率 6.7%)泄露私有受试者身份,从而确立在所有三种失效模式上进行操作审计对于负责任的部署是必要的。 第2节回顾相关工作。第3节定义威胁模型并形式化三种失效模式。第4节介绍审计方法论和零对照。第5节描述数据集、架构和实验结果。第6节讨论治理含义,第7节总结并展望未来方向。 ## 2 相关工作 ### 2.1 AI 安全与对齐理论 本工作的动机是技术到治理的桥梁:安全性研究应有技术基础,同时对现实世界的部署实践和政策保持可理解性。我们围绕三个安全相关轴组织审计。*验证*询问系统行为是否可以在部署前被限定、审计或认证。*前沿安全*询问日益强大的学习系统是否可能以常规基准性能无法捕捉的方式失效。*代理治理*询问当部署的模型代表用户或设备操作者行动时,技术证据应如何为监督提供信息。神经接口并非前沿基础模型,但它们以更小且更具体的形式实例化了相同的结构性问题:学习到的解码器在人类意图和机器行动之间进行中介。 对齐文献提供了解决此问题的概念词汇。具体事故风险,如奖励黑客和分布偏移,在系统优化不完美的现实目标时出现 [1]。内部不对齐可能导致学习到的模型优化与训练目标不同的元目标 [10],而目标泛化错误可能随着系统规模增大而产生欺骗性或权力寻求行为 [21]。我们保守地应用这些概念:EEG 解码器并非策略性主体,但它们仍然可以优化代理、通过狭窄的认证测试,并在用户级安全目标上失败。 因此,本文将对齐概念转化为嵌入式神经接口模型的审计要求。规格游戏出现在代理任务性能并不意味着神经保真度时。欺骗性对齐被处理为一个操作类比:认证可能在一个形式属性下表明安全,而部署行为在任务相关扰动下退化。控制丧失和可修正性促使询问用户、临床医生或监管者是否能在接口依据这些失效行动之前检测和纠正它们 [24, 21]。贡献并非新的对齐一般理论,而是一个领域特定的审计方法论,使这些失效模式在神经数据中可测量。这三个轴直接映射到后续的审计:验证驱动 E1(认证差距),前沿安全驱动 E2(代理保真度偏离),代理治理驱动 E3(潜在隐私泄露)。 ### 2.2 神经接口安全 关于脑机接口的安全研究主要强调对抗性访问、信号操纵、隐私泄露以及 BCI 生命周期中的攻击。Lopez Bernal 等人调查了 BCI 安全威胁,并按采集、处理、传输、分类和反馈阶段组织攻击 [19]。这条工作线至关重要,因为神经接口暴露了异常敏感的渠道:攻击者可能不仅针对软件和网络表面,还针对神经信号、刺激回路以及推断出的心理或健康状态。更近期的 EEG 对抗性机器学习研究表明,BCI 分类器可能受到普遍或可检测的对抗性扰动攻击 [18, 3]。 治理和神经伦理学工作将关注点从恶意攻击者扩展到机构责任、用户自主权、同意以及神经数据的监管 [11, 12, 23]。 我们的安全框架不同于标准的网络安全框架。网络安全通常始于外部对手:有人窃取数据、注入噪声、操纵信号或入侵设备。我们包括对抗性扰动和隐私探测,但主要问题更广泛:即使没有外部攻击者,模型的学习目标是否可能与用户福祉不一致?一个运动想象分类器可能在有限扰动下脆弱;一个表征可能保留足够信息来识别用户;一个重建目标可能改善一个保真度指标却损害另一个。这些即使在无网络入侵时也是安全失效。因此,审计框架通过将鲁棒性、保真度和隐私视为耦合的对齐风险来补充 BCI 安全调查。 ### 2.3 验证与鲁棒性认证 对抗性鲁棒性和认证在计算机视觉和一般机器学习中已有成熟文献。Szegedy 等人表明神经网络可能容易受到小的对抗性扰动的影响 [25],Madry 等人通过鲁棒优化的视角形式化了投影梯度对抗训练 [20]。认证方法试图超越特定攻击的评估,通过证明模型输出或决策在指定的扰动集内无法改变。Lipschitz 基于的方法在此尤其相关,因为它们提供了输出敏感性的充分边界:如果网络的 Lipschitz 常
相似文章
神经网络的安全保障真的安全吗?如何计算可信的鲁棒性认证
本文介绍了用于计算神经网络可信鲁棒性认证的瓣心距度量(apothem measure),证明了体积最优认证的难解性,并提出了ParallelepipedoNN系统,在MNIST和Fashion MNIST数据集上实现了最小边长两倍的提升。
提升脑机接口的安全性
本文提出了一种轻量级卷积神经网络架构,用于提高基于脑电图的脑机接口的对抗鲁棒性,通过对抗攻击评估,并显示出比现有模型更好的分类性能。
压力测试医学大语言模型揭示基准准确率之外的潜在安全病理
本文介绍了AI-MASLD,一个用于医学大语言模型的压力审计框架,揭示了基准准确率如何掩盖严重的安全故障,并展示了开放权重模型在安全维度上可以媲美或超越专有模型。
测试对未知对手的鲁棒性
# 测试对未知对手的鲁棒性 来源:[https://openai.com/index/testing-robustness/](https://openai.com/index/testing-robustness/) OpenAI 我们开发了一种方法来评估神经网络分类器是否能可靠地抵御训练期间未见过的对抗性攻击。我们的方法产生了一个新的指标 UAR(未知攻击鲁棒性),它评估单个模型对意外攻击的鲁棒性,并强调了需要在更多样化的未知攻击范围内测量性能
一个用于医学大语言模型安全性、鲁棒性和公平性评估的多领域红队框架
本文提出了一个多领域红队框架,用于在690个临床相关场景中评估医学大语言模型的安全性、鲁棒性和公平性。结果表明,高聚合准确率可能掩盖关键失败,而结合临床专家审核的混合评估对于可信的安全性评估是必要的。