riemannian-metric

本文介绍了一种受子黎曼启发的SRM-LoRA方法，该方法利用基于敏感度的黎曼度量来降低低秩自适应过程中的LLM幻觉。该度量重新塑造了反向传播梯度，抑制了高成本的更新方向，从而在HaluEval-QA等基准测试上提高了事实可靠性。

文章解释了深度Transformer层中的注意力熵坍缩是训练带来的几何后果，而非Bug，并提出了一个三行温度调度来预防它。

本文介紹了幾何科爾莫戈羅夫-阿諾德網絡 (GeoKAN)，這是一個幾何感知模型家族，通過學習黎曼度量來適應坐標，從而實現更優函數近似和物理感知學習。