parameter-symmetry

本文提出在商参数空间上进行PAC-Bayesian分析，以消除参数对称性带来的KL贡献，并构建一个几何诱导的先验，该先验逼近理想的后验匹配先验，从而得到更紧的泛化界。在傅里叶回归和查询-键注意力机制上的实验表明，KL散度和证据值显著降低。