dp-sgd

本文提出一种轻量级防御框架，旨在增强DP-SGD的经验隐私，且不增加理论隐私成本，并通过跨模型、数据集和威胁模型的广泛审计进行验证。

本文介绍了StraightDP，一个面向文本条件修正流Transformer的几何感知差分隐私框架。它将隐私预算进行划分，用于发布类条件矩并使用DP-SGD，在强隐私水平下相较于统一DP训练提高了准确率和FID。

本文证明了DP-SGD近似最大信息的一个有限样本界，该界最多与数据集大小成线性关系，从而为差分隐私训练的模型带来了PAC-Bayes泛化界。