numerical-learning

本文提出数字熵损失（DEL），一种用于大型语言模型数值学习的新型损失函数。它重新定义了熵优化，以提高数字级预测精度并处理浮点数，在数学推理基准上持续优于现有方法。