标签
本文提出了一种用于模型合并中通用代理正则化的谱框架,通过谱覆盖与泄漏刻画代理任务之间的关系,以推导参数干扰上界,并在视觉和语言基准上使用 CLIP 验证了三种正则化器实例。
该论文表明,诱导稀疏性的正则化会促使多任务神经网络涌现出功能模块性,从而识别出紧凑的任务选择性子网络(“功能令牌”),这些子网络无需重新训练即可跨路径重新组合。
本研究在受控因子实验(720次运行)中比较了门控初始化(常规 vs. chrono)与循环dropout/zoneout在LSTM和GRU上学习长程依赖的效果,发现chrono初始化在合成任务上显著优于常规初始化,而dropout通常延迟学习、zoneout仅在部分条件下有益。
该论文研究高维场景下的持续线性回归,推导了梯度下降有限步数训练时泛化损失的闭式表达,并证明最优步长按 lnT/T 衰减,其效果渐近等价于最优 L2 正则化。研究还探讨了对角正则化条件以及任务变异性与隐式正则化之间的权衡,并通过实验验证了理论预测。
该论文研究了策略内自蒸馏(OPSD)在大语言模型(LLM)自我改进过程中导致已有能力退化的问题,发现这种退化与隐藏表示几何结构恶化(簇内紧凑性和簇间分离度下降)相关,并提出表示几何正则化(RGR)方法,在不改变原有优化流程的情况下有效缓解能力退化。
该论文研究在数据有限但算力充裕场景下的重复数据预训练,发现小批量通过梯度噪声提供隐式正则化,并在固定时间预算下小批量+少GPU可取得更低验证损失,挑战了常见的增大并行度以最大化GPU利用率的做法。
这篇 CIKM 2026 论文刻画了固定目标表格异常检测器中出现的"收敛退化"现象,即优化程度越高反而会削弱异常信号;为此论文提出了 Kernel Contraction Matching(KCM),一种闭式核回归检测器,以及 Kernel-Anchored Regularizer(KAR),以缓解退化现象并在 ADBench 上提升 AUROC 表现。
论文提出了 TextReg,一个用于文本空间提示优化的正则化框架,通过双重证据梯度净化与语义编辑正则化来缓解提示分布性过拟合,在分布外推理基准上相比 TextGrad 最高提升 +11.8%,相比 REVOLVE 最高提升 +16.5%。
本文构建了高维回归中 grokking 现象的统计理论,揭示了正则化几何结构与信号稀疏性如何决定插值附近的泛化行为,并给出了零一律(zero-one law)以及最小范数插值器的不稳定性。
SkillEvoReg引入了一个正则化框架,以防止语言模型代理的技能演化中的过拟合,结合了dropout、局部正则化和因果验证,以在控制技能增长的同时保持性能。
FuseReg是一种用于表示自编码器的正则化方法,通过在训练过程中使用随机层子集采样来缓解重建-生成差距,从而提高生成性能并增强解码器在不同层输入下的鲁棒性。
本文提出一种谱连通性正则化的图学习框架(SCoGL),该框架融入拉普拉斯谱先验,以在数据稀缺时提高图恢复和图信号去噪等下游任务的性能。
SPAR 是一种预训练目标,采用门控KL散度损失来稳定语言模型预测,对抗无关前缀文本,从而提升在长上下文场景中的鲁棒性,并在多个基准测试中得到验证。
本文介绍了针对AI智能体框架的正则化递归自我改进(RRSI),该方法在递归进化过程中应用正则化以防止过拟合,在多个基准测试中展示了性能提升。
本文探讨了神经网络中的“Grokking”(延迟泛化)现象,并引入了几何维度正则化(GeomDR)方法来控制表征几何结构,从而将“Grokking”现象的出现速度最高提升52倍。
本文介绍了正则化强调时序差分学习(RETD),该方法通过归一化强调TD信号,确保在常数步长下的稳定性,并提供了收敛性证明和实验验证。
本文研究了多类别学习中适当学习与正则化的极限,通过证明学习并不总能归约为适当学习,且正则化存在结构约束,解决了开放性问题。
本文提出了一种用于多语言仇恨言论检测的训练时可解释性框架,通过将模型推理与人类理据对齐,以提高分类性能和可解释性,并在英语和Hinglish数据集上进行了评估。
本文介绍了ERPO,一种通过控制查询分布将正则化从动作侧转移到输入侧的方法,解决了LLM策略优化中的稳定性-探索困境,并在数学推理基准测试中展示了改进。
本文提出了概率电路中曲率的组合理论,证明了每个求和节点的黑塞矩阵迹可分解为电路流量和局部锐度,并引入了一种自适应的锐度感知正则化器,在保持闭式EM更新的同时改善泛化性能。