标签
该论文提出了一种重写缩放定律，根据模型规模、训练词元数、重写比例和数据训练轮数来预测损失，同时考虑生成重写数据所需的计算量。研究发现，最优重写比例随计算量的增加而提高，且使用重写数据训练的模型可以超越生成这些重写数据的模型。
该论文对合成数据上的隐私风险进行了实证研究，比较了数据级与训练级干预手段在能力与隐私之间的权衡，发现隐私感知重写相比 DP-SGD 或直接微调能提供更优的能力-隐私平衡。