linear-regression

本文介绍了一种基于快速变换的新型差分隐私草图机制，该机制实现了最先进的隐私保证并改善了运行时间，并将其应用于DP线性回归，从而获得了首个用于DP普通最小二乘法的快速方法。

本文推导了在幂律谱下素描线性回归的批量缩放定律，分析了单次和多次遍历的小批量SGD。它提供了明确的风险分解，展示了批量大小如何影响偏差、方差和波动项，并证明了无放回采样比有放回采样产生更低的噪声。