标签
本文提出了一个用于一致稳定算法泛化差距的新无对数上界，并构造了一个实现最优高概率依赖性的确定性学习问题，从而填补了文献中的空白。
本文研究了添加正确标注数据可能损害模型性能的场景，引入了插入稳定性概念，并探讨了维度理论在机器学习泛化中的局限性。
本文提出了一个针对基于回放的持续学习的逐层信息论框架，将泛化差距分解为回放引起的表示漂移项和优化依赖项，并通过Wasserstein松弛与SGLD实例化对其进行了细化。
本文将 PAC-Bayes 理论扩展到参数空间之外，通过行为等价性对其复杂度度量进行分解，引入了 PAC-Bayes Z-information 以及超越参数空间的精确结构分解。
本文提出在商参数空间上进行PAC-Bayesian分析，以消除参数对称性带来的KL贡献，并构建一个几何诱导的先验，该先验逼近理想的后验匹配先验，从而得到更紧的泛化界。在傅里叶回归和查询-键注意力机制上的实验表明，KL散度和证据值显著降低。
来自Bridgewater AIA Labs、UIUC和MIT的研究人员证明了首个针对使用RLVR训练的推理LLM的非平凡泛化界，为未见数据提供可证明的准确率下界，以指导安全部署。
本文从理论上分析了领域泛化下线性Transformer的上下文学习，建立了与维度无关的收敛速率，并提出了用于线性化预训练softmax大语言模型的新型激活和损失设计。
本文提出一个理论框架，用于量化当训练分布与部署分布因潜在体制动态（建模为马尔可夫切换过程）不同时的部署风险，提供了精确分解和有限样本边界。
本文开发了一种用于测试时自适应的PAC-贝叶斯框架，该框架使用MMD球作为信度集，提供了形式化的泛化界，并在分布偏移下区分认知不确定性与偶然不确定性。
本文提出了一个用于 Agentic AI 网络（AgentNet）中涌现通信的信息论框架，解决了物理约束问题并提供了泛化界限。在硬件原型上的实验验证表明，与现有最先进的解决方案相比，该框架显著提升了泛化性能。