Rectified Flows 泄露之处:沿插值路径表征成员信号

Hugging Face Daily Papers 论文

摘要

本文通过分析插值路径,研究了对 Rectified Flows 的成员推断攻击,揭示了训练数据与测试数据重构之间的钟形差距,该差距在训练过程中累积。

理解生成模型从训练数据中保留了哪些信息仍然具有挑战性,这对版权和隐私有影响。除了逐字复现外,模型还可以编码其训练数据的更微妙痕迹,这些痕迹从未出现在其输出中,但仍然是可利用的。我们针对 Rectified Flows(越来越多地用于部署的生成系统)研究了这一情况。我们分析了定义 Rectified Flow 训练的插值路径 X_λ = (1-λ)X_0 + λX_1。我们展示了训练数据和测试数据重构之间存在一个差距,该差距在 λ 上呈钟形曲线,并在训练过程中累积,而验证指标保持稳定。该信号有一个最大值,我们在高斯假设下以闭式推导出其位置。我们在音频和图像上验证了这些预测,并表明钟形结构是通用的,而峰值预测在我们的假设满足时成立。作为概念验证,我们利用这种特定的 λ 分辨结构来执行成员推断攻击,区分训练集的成员和非成员。
查看原文
查看缓存全文

缓存时间: 2026/06/10 00:13

论文页面 - Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

来源:https://huggingface.co/papers/2606.07271

摘要

Rectified Flows 保留了微妙的训练数据痕迹,这些痕迹在训练过程中累积,并可被利用进行成员推理攻击。

理解生成模型从训练数据中保留了什么仍然具有挑战性,这对版权和隐私有影响。除了完全复现外,模型可以编码其训练数据的更微妙痕迹,这些痕迹从未在其输出中出现,但仍可被利用。我们针对 Rectified Flows 研究了这一情境,这类模型越来越多地用于部署的生成系统。我们分析了定义 Rectified Flows 训练的插值路径 (interpolation path) X_λ = (1-λ)X_0 + λX_1。我们展示了训练和测试数据的重建之间存在一个差异,该差异在 λ 上呈现钟形曲线 (bell-shaped curve) 形状,并在训练过程中累积,而验证指标保持稳定。该信号具有一个最大值,我们在高斯假设 (Gaussian assumptions) 下以封闭形式推导出其位置。我们在音频和图像上验证了这些预测,并表明钟形结构是普遍的,而峰值预测在我们假设满足时成立。作为概念验证,我们利用这种特定的 λ 分辨结构进行成员推理攻击 (Membership Inference Attack),区分训练集的成员和非成员。

查看 arXiv 页面 (https://arxiv.org/abs/2606.07271)
查看 PDF (https://arxiv.org/pdf/2606.07271)
GitHub0 (https://github.com/sourisimos/rectified_flow_membership)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.07271)

在您的代理中获取该论文:

hf papers read 2606.07271

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.07271 以从此页面链接。

引用该论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.07271 以从此页面链接。

引用该论文的 Spaces0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.07271 以从此页面链接。

包含该论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

StraightDP:面向修正流Transformer的几何感知差分隐私

arXiv cs.LG

本文介绍了StraightDP,一个面向文本条件修正流Transformer的几何感知差分隐私框架。它将隐私预算进行划分,用于发布类条件矩并使用DP-SGD,在强隐私水平下相较于统一DP训练提高了准确率和FID。

缺失数据下的流匹配

arXiv cs.LG

本文提出了缺失数据流匹配(Missing-Data Flow Matching)方法,该方法将训练样本中缺失的坐标视为潜在变量,并在可能取值上对流匹配损失进行平均。理论分析表明该修正是精确的,并提供了设计指导,实验在表格数据上验证了该方法的有效性。

Rectified Flows中基于对比速度匹配的几何擦除

arXiv cs.LG

本文介绍了GEM,一种面向Rectified Flow模型的概念擦除框架,它结合了基于轨迹的遗忘与教师引导的流匹配,实现了5倍更快且更安全的内容抑制,同时保留良性的生成能力。