标签
本文将「行与列尺度场」（row and column scale fields）引入研究：即对 Transformer 权重矩阵沿其通道维度计算的、经过中位数中心化的 log-RMS 剖面，用于在介观尺度上分析权重幅值在各功能通道间如何分布。文章展示了这些尺度场在训练过程中的演化规律、在不同投影之间的对齐关系、与 AdamW 二阶矩结构的联系，以及对这些尺度场进行编辑会如何影响模型损失。