pac-bayes

This paper introduces PAC-Bayes-regularized Meta-LoRA for cross-domain LLM personalization, enabling zero- and few-shot adaptation to user preferences while preventing overfitting under sparse evidence. Experiments on benchmarks like HiCUPID show significant improvements in cross-domain win rates and cold-start scenarios.

本文将 PAC-Bayes 理论扩展到参数空间之外，通过行为等价性对其复杂度度量进行分解，引入了 PAC-Bayes Z-information 以及超越参数空间的精确结构分解。

介绍了锐度引导均衡采样（SGS），该方法利用锐度估计动态调整采样概率，以在长尾学习中实现平衡的平坦极小值，在CIFAR-100 LT和ImageNet-LT上取得了显著提升。

本文提出在商参数空间上进行PAC-Bayesian分析，以消除参数对称性带来的KL贡献，并构建一个几何诱导的先验，该先验逼近理想的后验匹配先验，从而得到更紧的泛化界。在傅里叶回归和查询-键注意力机制上的实验表明，KL散度和证据值显著降低。

本文研究锐度与复杂度共同解释深度神经网络泛化能力的程度，引入基于帕累托的分析和面向函数的定义，以扩展解释范围。

本文证明了DP-SGD近似最大信息的一个有限样本界，该界最多与数据集大小成线性关系，从而为差分隐私训练的模型带来了PAC-Bayes泛化界。

本文挑战了关于平坦最小值能导致神经网络更好泛化的普遍观点，认为‘弱性’——一种函数简单性的重参数化不变度量——才是真正的驱动力。在MNIST和Fashion-MNIST上的实验结果表明，弱性能够预测泛化，而尖锐性则与之负相关，且随着训练数据增加，大批次泛化优势消失。