揭示拜占庭鲁棒性下隐私对泛化的非单调影响

arXiv cs.LG 论文
byzantine-robustness privacy generalization distributed-learning non-monotonic-effect algorithmic-stability local-differential-privacy

摘要

本文揭示了在拜占庭鲁棒分布式学习中隐私对泛化误差的非单调影响：在高噪声（强隐私）区域，增加隐私会降低泛化误差；而在低噪声（弱隐私）区域，增加隐私则会恶化泛化效果。

arXiv:2607.01492v1 公告类型：新 摘要：近期研究确立了分布式学习中拜占庭鲁棒性、本地差分隐私（LDP）与优化误差之间的基本三元难解关系。我们表明，这个三元难解关系并不普遍适用于泛化误差，而是关键取决于隐私机制。具体来说，在高噪声（强隐私）区域，我们证明增加隐私会降低泛化误差，即鲁棒性与隐私之间不存在冲突。然而，在低噪声（弱隐私）区域，鲁棒性与隐私之间的冲突重新出现，增加隐私确实会恶化泛化效果。我们的理论通过匹配LDP约束下拜占庭鲁棒分布式学习算法稳定性的下界和上界，解释了这种令人惊讶的泛化误差非单调行为。我们通过实证评估验证并进一步分析了这些理论发现。
查看原文
查看缓存全文

缓存时间: 2026/07/03 05:41 

# 揭示拜占庭鲁棒性下隐私对泛化的非单调影响
来源：https://arxiv.org/abs/2607.01492
查看PDF（https://arxiv.org/pdf/2607.01492）

> **摘要：** 近期工作确立了分布式学习中拜占庭鲁棒性、本地差分隐私（LDP）与优化误差之间的基本三难问题。我们证明，这一三难问题并非普遍适用于泛化误差，而是关键地取决于隐私区间。具体而言，在高噪声区间（强隐私）下，我们证明增加隐私会降低泛化误差，即鲁棒性与隐私之间不存在张力。然而，在低噪声区间（弱隐私）下，鲁棒性与隐私之间的张力重新出现，增加隐私确实会损害泛化。我们的理论通过匹配LDP约束下拜占庭鲁棒分布式学习算法稳定性的下界与上界，解释了泛化误差这一令人惊讶的非单调行为。我们通过实证评估进一步验证并分析了这些理论发现。

## 提交历史

来自：Thomas Boudou \[查看邮件（https://arxiv.org/show-email/020f0b6f/2607.01492)\] **\[v1\]** 2026年7月1日星期三21:42:47 UTC（201 KB）

相似文章

基于差分隐私原始-对偶视角的可证明后门攻击鲁棒性

arXiv cs.LG

本文介绍了一个框架，通过隐私配置文件将随机平滑与差分隐私联系起来，从而能够针对同时影响训练和推理的后门攻击提供严格的可证明鲁棒性保证。该框架在DP-SGD和深度分区聚合上实例化，并在MNIST和CIFAR-10上进行了实验。