标签
本文利用希腊语数据，研究Transformer后期层如何处理句法信息，通过跨层泛化性分析揭示了表征向规范语序的转变。
本文引入一种站点不对称性审计，以分离激活空间顺序交换干预中的基线效应和交互作用，表明单干预基线能解释语言模型中的大部分方差，并提出一种校正残差用于检测几何结构。
本文介绍了一种用于分析循环神经网络隐藏状态的有限滞后算子几何，推导了源心传输张量和反对称坐标环流，以捕获超出静态快照的定向流和确定性循环运动。
本文介绍了一致性（coherence）这一几何约束，受大脑中网格细胞和头朝向细胞的启发。一致性确保特征响应数据流形上的几何连通区域，从而提升可解释性；作者提出了一个可微分的目标函数（Coh），并在合成数据、旋转MNIST和BERT词元嵌入上进行了验证。
本文研究了大语言模型在上下文学习过程中如何重组表征几何结构，表明上下文学习性能与任务的几何结构相关，且成功的上下文学习涉及提高表征的可分离性。
本文提出物理信息驱动的多尺度Mamba（PIMSM），这是一种状态空间架构，它将模型记忆与物理时间尺度对齐，以提升在科学时间序列分布偏移下的鲁棒性，并在fMRI和天气预报任务上展示了改进。
本文利用形状分析工具，刻画了不同数据增强策略如何重塑神经网络表征的几何结构，发现增强强度和类型会在形状空间中产生截然不同且具有良好规律的轨迹。