online-diagnostics

#online-diagnostics

Grokking Transformer中的权重衰减机制：廉价在线诊断

arXiv cs.LG ↗ · 2026-05-21 缓存

本文研究了权重衰减如何作为控制参数，使在模算术上训练的Transformer在记忆与泛化之间发生转变，并引入了两种基于注意力激活的廉价在线诊断指标，用以追踪这些动态。

0 人收藏 0 人点赞