标签
本文追踪了 Pythia-1b 和 Pythia-410m 模型中主谓数一致性回路在训练过程中如何涌现并逐渐稀疏化，发现模型行为在早期便趋于稳定，而底层回路仍不断重组、变换所涉及的注意力头，并逐步缩减，最终呈现出极为稀疏的形态。
本研究探讨了多语言大型语言模型如何在内部处理跨语言的主谓一致，发现模型为具有显性屈折变化的语言重用共享的计算结构，表明在形态句法处理中存在跨语言重叠。