标签
《Mathematical Theory of the Transformer》是一部长达825页的数学专著，系统阐述了Transformer架构的理论基础，涵盖嵌入、自注意力、矩阵分解、谱分析、信息几何、训练动力学与优化等主题。
本文提出了锚点散度（Anchor Divergences）方法，该方法利用对比学习、指数族和信息几何之间的相互作用，在固定的 CLIP 式表征上定义特定于上下文的语义几何，使相似度能够反映与任务相关的属性（例如狗的品种 vs. 背景），而非单一固定的余弦几何。检索实验表明，该方法在刻画上下文相关的语义相似度方面既有效又高效。
本文将 Adam 视为自然梯度下降的对角经验 Fisher 近似，并在逻辑回归、线性回归以及小型神经网络的损失景观上度量其几何偏差。结果表明，病态性越强偏差越大，但 Adam 仍能达到较低的损失值，这说明其有效性源于近似误差的平衡与动量平滑效应，而非真正追踪自然梯度下降。
本文提出了一种信息效率比（IER），用于优化稀疏在线策略蒸馏中的令牌选择，证明仅使用1%的令牌就能达到与全面监督相当的性能。
本文提出一种基于Fisher信息距离的神经网络参数剪枝新方法，在全连接网络和视觉Transformer上，在MNIST和CIFAR-10数据集上性能优于现有方法。
本文利用Fisher–Rao几何证明，大型语言模型共享可通过学习与控制获得的行为结构，从而支持迁移学习和最小干扰干预。
本文使用Kähler几何和信息流形探讨复数神经网络中的优化景观，为下降路径提供理论保证，并分析Calabi-Yau度量的影响。
介绍了一种基于信息几何和统计流形的多轮提示注入二阶早期预警信号。该方法利用从稳定性参数二阶导数导出的元速率，在阈值交叉前预测对抗轨迹，实现主动检测。
介绍CuBAS，一种用于监督分类中自适应数据选择的信息几何框架，利用数据流形的局部曲率识别信息丰富的样本，在30个基准数据集上实现了更高的准确率。
本文介绍了退化蒸馏器，一种通过估计和平展费希尔信息矩阵来自动检测和解决物理模型中退化参数组合的方法，该方法减少了神经后验估计所需的模拟预算，同时提供物理洞察。
CoreMem提出了一种资源高效的边缘-云端内存架构，用于对话代理，采用基于Fisher-Rao度量的黎曼检索和Fisher引导的离散令牌蒸馏，在8 GB VRAM预算内实现了显著的准确性提升。
介绍Fisher宽度，这是统计流形上高斯宽度的黎曼类比，它捕捉局部统计曲率且在重参数化下不变。本文发展了其理论，证明了Fisher-Lipschitz类别的泛化界，并在MNIST上展示了可计算估计量。
本文通过有限理性决策理论的视角研究学习中的泛化问题，其中学习者的响应规律在训练损失和样本依赖性之间产生权衡。作者表明这种权衡由 f-散度正则化器控制，并且泛化可以从学习者的对冲行为中得到验证。