bregman-divergence

本文引入了角色感知神经凸散度头，在评估输入凸神经Bregman散度之前应用源角色和目标角色投影，从而为词汇蕴含、句子蕴含和本体层级等任务实现结构化和可解释的非对称距离学习。实验表明，在语义和本体基准上，角色感知投影相较于普通ICNN-Bregman头在方向准确性上持续提升。

本文揭示了，即使在条件良好的设置下，使用非二次正则化项的 Mirror Descent 比 Gradient Descent 对初始化敏感得多（指数级），这对强化学习和LLM后训练中的可重复性具有重要意义。