去噪感知反转:揭示噪声保护文本嵌入中的隐私风险

arXiv cs.LG 论文

摘要

本文提出了一种去噪感知嵌入反转管道(DAEI),它能有效攻击噪声保护的文本嵌入,揭示了重大隐私风险,并对高斯噪声作为防御手段的有效性提出了挑战。

arXiv:2608.18610v1 Announce Type: new 摘要:稠密文本嵌入由于其紧凑且语义丰富的表示,在数据挖掘、检索和下游机器学习系统中广泛应用,但最近的嵌入反转攻击表明,它们能暴露原始文本的大量信息,导致严重的隐私泄露风险。一种常见的防御是通过添加高斯噪声来发布扰动嵌入,这种方法简单但对标准反转攻击有效,且不会显著降低嵌入在下游任务中的效用。然而,这种噪声保护的嵌入是否足以抵御明确考虑扰动过程的自适应攻击者,仍不明确。本文中,我们研究了噪声保护设置下的文本嵌入反转,其中攻击者只能观察噪声嵌入,无法访问干净嵌入目标。我们首先分析了现有生成反转方法在此设置下失败的原因,并识别出“双重噪声陷阱”,这从根本上阻止了标准生成反转模型实现高质量重建。为应对这一挑战,我们提出了DAEI,一种去噪感知的嵌入反转管道,它将残差去噪自编码器与生成文本反转相结合,其中去噪器使用Stein的无偏风险估计以无监督方式训练,从而仅从噪声观测中实现去噪。大量实验表明,DAEI在BLEU上相对于现有生成反转基线实现了约154%的相对改进,同时将令牌级F1和ROUGE-L提高了32-60%。DAEI有前景的反转性能挑战了当前的假设,即简单的高斯扰动足以防止从嵌入表示中泄露敏感信息。
查看原文
查看缓存全文

缓存时间: 2026/08/20 10:30

# 去噪感知逆向:揭示噪声保护文本嵌入中的隐私风险
来源:https://arxiv.org/html/2608.18610
Yubo Wang1, Shujie Cui1, James Bailey1, Hongzhi Yin2, Wenyu Liang1, Min Tang1, Shiyue Qin3, Weiqing Wang1  
所属单位:1莫纳什大学,澳大利亚墨尔本;2昆士兰大学,澳大利亚布里斯班;3东北大学,中国沈阳  
\{yubo\.wang2, shujie\.cui, james\.a\.bailey, Teresa\.Wang\}@monash\.edu  
wlia0047@student\.monash\.edu, bupttm@163\.com, h\.yin1@uq\.edu\.au, qinsy@mail\.neu\.edu\.cn

###### 摘要

稠密文本嵌入因其紧凑且语义丰富的表示形式,被广泛应用于数据挖掘、检索及下游机器学习系统。然而,近期的嵌入逆向攻击表明,这些嵌入可能暴露原始文本的大量信息,从而引发严重的隐私泄露风险。一种常见的防御手段是通过添加高斯噪声发布扰动后的嵌入,这种方法简单有效,能够抵御标准逆向攻击,且不会显著降低嵌入在下游任务中的效用。然而,目前尚不清楚此类噪声保护的嵌入是否足以抵御明确考虑扰动过程的自适应攻击者。本文在噪声保护设定下研究文本嵌入逆向,其中攻击者仅能观测到带噪嵌入,无法访问干净嵌入目标。我们首先分析现有生成式逆向方法在此设定下失效的原因,并识别出一种“双重噪声陷阱”,它从根本上阻碍了标准生成式逆向模型实现高质量重建。为应对这一挑战,我们提出 DAEI(去噪感知嵌入逆向流程),该流程结合残差去噪自编码器与生成式文本逆向,其中去噪器采用无监督方式训练,利用 Stein 无偏风险估计实现仅从带噪观测中进行去噪。大量实验表明,DAEI 在 BLEU 指标上较现有生成式逆向基线提升约 154%,同时将令牌级 F1 和 ROUGE-L 分别提升 32-60%。DAEI 有望实现的逆向性能,对“简单高斯扰动足以防止嵌入表示泄露敏感信息”的流行假设提出了挑战。复现代码已提供:https://github\.com/ChrisWang233/DAEI

###### 索引术语:

机器学习,稠密文本嵌入,嵌入逆向攻击,隐私泄露,去噪自编码器

## I 引言

稠密文本嵌入已成为现代数据挖掘和机器学习系统中的标准数据表示形式\[28, 12, 21\]。在语义搜索、用户建模、向量数据库和检索增强分析等应用中,原始文本记录越来越多地被转换为紧凑的连续向量,供下游系统存储、检索或执行各类任务\[15, 39, 9\]。这种表示形式之所以吸引人,在于它将原始数据转换为低维且语义丰富的向量表示,从而使后续任务更高效\[28, 39\]。然而,这些优势也带来了潜在的隐私问题:高质量嵌入被明确训练以保留语义和词汇信息,因此也可能保留敏感实体和属性\[31, 16\]。因此,任何泄露都可能允许攻击者应用复杂的提取技术来恢复底层的敏感数据,从而导致隐私漏洞。

近期研究已将这一隐私风险具体化。生成式嵌入逆向攻击能够从句子嵌入中重建完整句子,而不仅仅是恢复无序关键词\[16\]。Vec2Text 进一步将逆向构建为受控生成任务,引入迭代校正框架,显著提高了短输入的重建精度\[20\]。在实践中,嵌入可能通过被入侵的向量数据库、诚实但好奇的存储或检索提供商,以及在组件间在线传输嵌入的分布式系统(攻击者可在传输过程中攻击嵌入)而暴露\[19, 35\]。一旦攻击者能够观测这些嵌入,嵌入本身可能成为一种文本泄露渠道。

一种自然的防御策略是在发布前扰动嵌入。差分隐私形式化了向敏感计算添加校准噪声的更广泛原则\[7\],而先前关于隐私保护文本分析的研究表明,在数据挖掘工作流中,嵌入空间中的扰动可以在保持下游效用的同时降低泄露风险\[8, 36, 6\]。最常见的防御机制是添加高斯噪声注入\[20, 40, 29\]。实际上,向目标嵌入器的最终表示添加标准差 σ=0.01 的零均值高斯噪声,可严重降低生成式逆向性能,同时几乎不影响下游任务效用\[20\]。然而,据我们所知,目前尚无嵌入逆向方法研究在此噪声保护设定下,嵌入到文本的逆向是否仍然可行。最相关的工作是 ZSInvert\[38\],它专注于零样本逆向,而非噪声保护设定。我们认为这是最接近的工作,因为它包含一个实验案例研究以证明所提方法具有噪声鲁棒性\[38\]。可能的原因是,其基于搜索的优化对带噪嵌入提供了一定的鲁棒性,但恢复的文本通常可读性较差且令牌对齐度弱,这也在我们的实验中得到了验证。因此,我们将其作为噪声鲁棒基线,同时指出传统的生成式逆向方法在噪声保护嵌入设定下仍然基本无效。

这种困难不仅仅是一个更难的逆向任务:噪声从根本上创造了一种不同且未充分探索的逆向范式。在此设定下,攻击者被剥夺了干净嵌入,只能观测带噪向量。这使得逆向极具挑战性,原因有二:首先,缺少干净目标使得依赖于与干净参考重建误差的标准有监督去噪目标失效;其次,逆向映射必须在可靠恢复文本之前,将语义信号从高维噪声中分离出来。因此,这些限制促使我们提出研究的核心问题:攻击者能否在不依赖干净嵌入的情况下,从黑箱带噪嵌入中恢复足够的文本信息?

我们从安全评估的角度探讨这个问题。具体而言,我们研究了无干净嵌入的场景,并提出了 DAEI(去噪感知嵌入逆向),一个用于衡量噪声保护文本嵌入隐私风险的集成流程。我们以 Vec2Text 作为文本恢复的生成式骨干网络,并在其逆向解码器前添加残差去噪自编码器(DAE)\[33\],以将语义信号从高维噪声中分离。传统的 DAE 通常依赖于针对干净参考嵌入的均方误差(MSE)目标,而在我们仅带噪的设定下,这些干净参考是不可用的\[33, 34\]。在高斯噪声模型下,我们因此使用 Stein 无偏风险估计(SURE)\[32, 27\]来消除对干净嵌入的依赖,从而仅从带噪观测中计算出无偏风险估计。我们进一步使用 Monte-Carlo Hutchinson 估计\[27\]来近似所需的散度项,并给出基于方差的显式误差界。为了使去噪与文本生成对齐,我们联合微调两个模块。这种耦合优化引导 DAE 保留关键的语义方向,同时动态调整逆向器以适应精炼后的嵌入空间。此外,与需要每个样本多次带噪观测(在现实世界应用中通常不可用)的方法(如 Noise2Noise)\[14\]不同,DAEI 每个样本仅需一次带噪观测。

总而言之,我们的主要贡献如下:
- •我们挑战了噪声保证文本嵌入隐私的流行假设。我们是首个提出并系统评估自适应“去噪-逆向”方法的工作。通过证明底层文本信息仍可从噪声保护的嵌入中可靠恢复,我们对当前的表示安全标准进行了关键性的重新评估。
- •我们系统地分析了现有生成式逆向方法在从带噪嵌入重建文本时失效的原因,并引入“双重噪声陷阱”(第 II-B 节)。
- •据我们所知,我们是首个在严格的无干净目标设定下研究去噪自编码器用于带噪文本嵌入逆向的工作。
- •我们提出 DAEI,一个新颖的去噪感知逆向流程,它耦合 DAE 预训练、DAE 防护逆向、组件联合微调和 DAE 防护校正,从而实现从带噪观测中稳健的文本恢复。
- •我们在多个基准和嵌入骨干网络上验证了 DAEI。与带噪 Vec2Text 相比,DAEI 在 BLEU 上实现了约 154% 的相对改进,在 F1 和 ROUGE-L 上提升了 32-60%,同时显著优于 ZSInvert。

## II 问题形式化与动机

### II-A 问题形式化

参见图 1:“双重噪声陷阱”的几何直觉。加性高斯噪声将目标嵌入推离干净文本流形,导致原始逆向追逐流形外的方向。DAEI 则在逆向前将带噪表示投影回干净流形附近。令 x ∈ X 表示输入文本,令 f_clean: X → ℝ^d 为一个冻结的黑箱文本编码器。在标准设定下,精确的潜在表示由下式给出:
z = f_clean(x),  (1)
我们研究一种保护隐私的系统设定,其中系统仅发布最终嵌入的扰动版本,记为 y:
y = f(x) = z + ε,  ε ~ N(0, σ²I_d),  (2)
其中 f 表示带噪嵌入器,噪声尺度的标准差 σ 假定已知或可估计,但干净嵌入 z 对攻击者严格不可访问。

**攻击者假设**:在我们的威胁模型中,假设攻击者不了解嵌入器的架构和参数等信息。1)攻击者只能作为黑箱查询发布的嵌入接口,获取攻击者选定的输入文本对应的输出嵌入,从而构建带噪嵌入-文本训练对 (y, x);2)假设攻击者知道扰动是加性高斯噪声,因为这是保护文本嵌入的标准且广泛采用的机制;3)攻击者要么已知噪声尺度 σ(先前工作通常采用 σ=0.01 以实现效用与隐私的最佳权衡)[20];要么可以通过对任意攻击者选定的输入文本进行重复校准查询,观测返回嵌入的变化来估计 σ。具体来说,对于同一校准文本的 n 次重复观测 {y^{(j)} = z + ε^{(j)}}_{j=1}^n,噪声方差的无偏估计量为:
σ̂² = [1/(d(n-1))] ∑_{j=1}^n ||y^{(j)} - ȳ||²₂,  ȳ = (1/n) ∑_{j=1}^n y^{(j)}.  (3)
在高斯噪声下,d(n-1)σ̂²/σ² 服从自由度为 d(n-1) 的卡方分布 [3],因此 σ̂² 的相对标准误差为 √[2/(d(n-1))]。对于 768 维的嵌入器,即使 n=10 次校准查询,σ̂² 的相对标准误差也约为 1.7%,σ̂ 的相对标准误差约为 0.85%。请注意,尽管攻击者可能通过多次输入文本来估计其输入文本的干净嵌入,并且这些干净嵌入可能有助于重建攻击者输入的原始文本。但我们想要保护的文本并非攻击者输入的文本,而是目标系统隐藏的文本。对于这些被保护的文本,攻击者仅能观测到发布的带噪嵌入,无法估计它们的干净嵌入。

给定观测到的带噪嵌入 y 和黑箱嵌入器 f,任务是重建原始文本 x。一个自然的初步尝试是直接在带噪对 (y, x) 上训练逆向模型。然而,正如 Zhuang 等人先前的实验 [40] 中观察到的,这种策略在很大程度上仍然不足。下面我们从理论上分析这种朴素方法失败的原因。

### II-B Vec2Text 因“双重噪声陷阱”而失败

生成式逆向方法(如 Vec2Text [20])旨在通过逆向器建模 p_θ(x|z) 将目标嵌入 z 映射回文本 x,并通过校正器比较目标嵌入与假设嵌入 f(x̂) 来精炼假设 x̂。在带噪嵌入接口下,这两个量都受到扰动的影响:
y_tar = z + ε₁,  
y_hyp = f(x̂) = f_clean(x̂) + ε₂,  (4)
其中 ε₁, ε₂ ~ N(0, σ²I_d) 独立。因此观测到的校正残差为:
Δ_obs = y_tar - y_hyp  
= [z - f_clean(x̂)]_{语义残差} + [ε₁ - ε₂]_{噪声残差}.  (5)
原始 Vec2Text 中的校正器旨在最小化 ||y_tar - y_hyp||²,以迭代地将 f_clean(x̂) 推向 z。然而,在带噪设定下,目标残差 Δ_obs 被噪声残差 (ε₁ - ε₂) 污染,其幅度随 σ² 增大。这导致校正器追逐一个随机方向,因为梯度 ∇_{x̂} ||Δ_obs||² 主要由噪声项驱动,而非语义差异 z - f_clean(x̂)。我们称此现象为“双重噪声陷阱”:第一次噪声 ε₁ 将目标嵌入 z 推离其干净流形;第二次噪声 ε₂ 使假设嵌入 f(x̂) 偏离其期望值 f_clean(x̂)。两者的结合使得标准基于梯度的校正无法可靠地收敛到语义正确的文本。在后续实验中(第 IV 节),我们将通过定量分析展示这种失败模式。

相似文章

循环去噪揭示扩散模型中的超稳定记忆

arXiv cs.LG

循环去噪作为一种新颖的提取攻击方法,通过反复对样本进行加噪和去噪,揭示了扩散模型中超稳定的记忆训练图像。该技术无需梯度或权重检查,对隐私审计具有重要意义。

Show HN:Noisegate – 面向不可信AI代理的差分隐私网关

Hacker News Top

Noisegate 是一个开源的差分隐私网关,允许不可信的AI代理查询敏感数据集,并提供针对记录泄露的数学保证。它具备内置的攻防测试、经过验证的噪声机制,并作为Claude Desktop的MCP服务器运行。

用于去噪生成的优化框架

arXiv cs.LG

本文将不以噪声为条件的去噪生成重新表述为对固定对数密度目标的梯度上升,证明了其在参考流形附近的收敛性、有限分辨率下的覆盖性,以及一种既能避免记忆训练样本又能保持多样性的机制,并通过实验验证了生成过程的可控性和鲁棒性。

理解与改进指令微调中的噪声嵌入技术

arXiv cs.LG

本文分析了指令微调中的噪声嵌入技术,解释了为何均匀噪声优于高斯噪声,并引入了SymNoise,一种对称噪声方法,在AlpacaEval上将LLaMA-2-7B的性能显著提升至超过NEFTune。