LLM幻觉论文（使用数学方法）被ICML workshop接收[R]

大家好。我想介绍我最近在ICML workshop上发表的研究。GitHub链接：genji970/SRM-LoRA: official implementation of "SRM-LoRA: Sub-Riemannian-Metric Updates for Mitigating LLM Hallucination in Low-Rank Adaptation" ICML2026 Workshop FoGen 论文简要总结： """ SRM-LoRA是一种受子黎曼启发的LoRA方法，旨在减少LLM幻觉。它构建了一个基于敏感度的黎曼度量，在LoRA参数空间中重新塑造反向传播梯度。该度量抑制了高成本的更新方向，同时保持前向计算和推理成本不变。仅在HaluEval-QA上训练后，SRM-LoRA在相关和分布外基准测试上均提高了事实可靠性。""" 实验 """ https://preview.redd.it/3uyvbtoa76dh1.png?width=740&format=png&auto=webp&s=4431233186dffae885db8e989f009bf37710fe22 """ 在我看来，数学之所以未能有效应用于提升最新AI系统（如LLMs）的性能，原因在于关于什么应作为数学理论要素的讨论进展缓慢。例如，假设我们使用黎曼度量。在LLM的参数空间中，反向传播产生的更新向量来源于包含训练数据的损失目标。然而，如果为了构建黎曼度量而引入可学习参数，并通过这些参数传递与主训练信号相同的信号来训练它们，那么这可能仅仅是一种更复杂的训练形式，并且只会增加对训练数据过拟合的可能性。那么，我们如何才能朝着能够泛化的方向前进，同时获得数学理论的好处呢？在本文中，黎曼度量是基于LLM模型参数相对于损失信号的变化率来构建的。这样定义的原因如下：无论可学习的数据或分布有多好，实践中仍然存在很高的过拟合可能性，从而导致幻觉。因此，用于构建黎曼度量的成本（其中较高的成本表示较差的路径）是使用这种敏感度来定义的，可以简单地理解为梯度(损失)/梯度(参数)。换句话说，黎曼度量并非仅仅引入更复杂的度量，而是作为对来自训练数据（即主信号）的更新的制动器。我认为，如果在使用理论A和理论B时，将理论A的要素和理论B的要素各自针对具体情况进行适当设计，那么数学可以更深入地融入AI。