curvature

本文提出了概率电路中曲率的组合理论，证明了每个求和节点的黑塞矩阵迹可分解为电路流量和局部锐度，并引入了一种自适应的锐度感知正则化器，在保持闭式EM更新的同时改善泛化性能。

Raph Levien 提出了一个新的曲线族——hyperbezier，基于 Cesàro 方程，旨在将平滑的曲率变化与三次贝塞尔曲线在二维矢量图形设计中的多功能性结合起来。

本文提出CPES，一种曲率感知势能面图神经网络，用于蛋白质-配体结合亲和力预测。它整合了物理启发的曲率表示来建模构象灵活性，并在基准数据集上实现了改进的预测性能。

本文探究了Muon优化器在大型语言模型训练中为何优于Adam，从曲率视角表明Muon因更低的归一化方向锐度而承受更小的曲率惩罚，且其优势因数据不平衡而放大。

文章解释了深度Transformer层中的注意力熵坍缩是训练带来的几何后果，而非Bug，并提出了一个三行温度调度来预防它。

时隔8年，作者重写了开源库pytorch-hessian-eigenthings，利用Lanczos等迭代方法为PyTorch模型提供Hessian及其他曲率矩阵的高效特征分解。