second-order-optimization

DP-FedSOFIM 将曲率估计移至差分隐私联邦学习中的服务器端，在 O(d) 客户端内存下实现与 DP-FedGD 相同的隐私保证，并在早期轮次获得显著的准确率提升。

KronQ是一种后训练量化框架，通过Kronecker分解的海森矩阵近似引入梯度协方差，实现了双向非相干处理和改进的混合精度分配灵敏度度量。即使在LLaMA-3-70B等大模型上进行2比特权重量化，也能实现低困惑度。

本文介绍了DP-NGD，一个实用框架，通过将曲率估计与私有数据解耦，并协调各向同性DP约束与各向异性二阶优化，将自然梯度下降与差分隐私相结合，在相同隐私预算下实现了最先进的准确率和高达10倍的收敛速度提升。