标签
本文提出一种结构性电路分析，以在多语言语言模型中识别首令牌分发器和语言标识头部，揭示了稳定的枢纽拓扑结构，并且路由电路主要是在预训练期间建立的。
本文研究了微调如何改变大语言模型的内部表征，并将这些变化与 Edge Attribution Patching 识别的因果重要性成分解耦，发现任务特定成分集中在某些层中，并与表征变化不相关。
本文评估了语言模型电路的一致性与特异性，发现虽然电路在任务内部具有一致性，但由于不同任务间存在大量重叠，它们缺乏任务特异性。