标签
该论文提出了 Shaped SAEs，包括一种 Matched Filter SAE（MF-SAE），它通过基于 Jacobian 的降秩变换对 LLM 激活进行线性整形，再学习稀疏自编码器，以提升字典原子的语义选择性，并在 SAEBench 和 SAE Probes 上进行了评估。
本文探讨了如何将 prior-data fitted networks（PFN）适配于表格异常检测，提出了一种无需微调的方法（ZEN），使用冻结的 TabPFN 特征结合最近邻评分，以及一种微调方法（FOCUS），后者在 ADBench 基准测试上超越了所有基线方法。
该论文推导出了精确的解析解，表明神经网络中的特征学习使其更容易遭受后门攻击：在特征学习机制下，仅需触发强度满足 α ∝ π^{-1/4}，而惰性学习机制则需要 α ∝ π^{-1/2}——这一结果从理论上解释了为何给大型网络植入后门出乎意料地容易，以及为何线性安全审计会低估这一威胁。
本论文通过谱动力学阐明神经网络损失景观中的模式连通性，解释诸如grokking和记忆化等现象，并将见解应用于增强多样特征学习和实际神经网络训练。
论文表明，在具有聚类数据的回归问题中，多层感知机自然发展出单义性的专门化神经元，通过学习局部低维表示而非全局表示来提高数据效率。
SUFLECA是一个弱监督框架，用于零样本CAD到图像对齐，通过从预训练视觉表示中扩大基于几何的特征学习，在ScanNet25k上实现了最先进的准确率。
本文介绍了ODIN，一种新颖的自编码器架构，它强制潜在维度正交并按照重要性排序，在全非线性条件下恢复类似PCA的可解释性。该方法将几何约束集成到训练目标中，具有理论依据，并在合成数据集和真实数据集上进行了实证验证。
本文从理论上证明，在群组合任务上训练的两层神经网络可以学习谱表示，其中神经元收敛到不可约表示并实现旋转秩一对齐，为特征学习提供了表示论的解释。
本文介绍了GOEN，一种结合多尺度特征、L2归一化和马氏距离的OOD检测流水线，并发现CenterLoss正则化虽然提高了分类准确率，但实际上会降低OOD性能。
本文介绍了 AGOP-Weighted，这是一种事后归因方法，它将每个样本的梯度乘以训练分布先验，以抑制噪声并突出重要像素，并在合成和逼真的基准测试中展示了相较于现有方法的显著改进。
这项实证研究验证了关于两层神经网络在 Grokking 现象期间的特征排斥和谱锁定理论发现，展示了激活函数如何影响从记忆到泛化的过渡。