标签
本文介绍了一致性（coherence）这一几何约束，受大脑中网格细胞和头朝向细胞的启发。一致性确保特征响应数据流形上的几何连通区域，从而提升可解释性；作者提出了一个可微分的目标函数（Coh），并在合成数据、旋转MNIST和BERT词元嵌入上进行了验证。
本文研究了大语言模型在上下文学习过程中如何重组表征几何结构，表明上下文学习性能与任务的几何结构相关，且成功的上下文学习涉及提高表征的可分离性。
本文提出物理信息驱动的多尺度Mamba（PIMSM），这是一种状态空间架构，它将模型记忆与物理时间尺度对齐，以提升在科学时间序列分布偏移下的鲁棒性，并在fMRI和天气预报任务上展示了改进。
本文利用形状分析工具，刻画了不同数据增强策略如何重塑神经网络表征的几何结构，发现增强强度和类型会在形状空间中产生截然不同且具有良好规律的轨迹。