readout

本文研究Transformer如何组织因果知识，表明类型级监督会诱导一种类型化的路由结构，该结构在功能上与答案读出解耦，并具有精确的局部可编辑性和位精确的可还原性。

本文识别了学习动力学模型中的'时间信用稀释'现象，其中全局读出关注的是虚假相关性而非短暂的物理事件。它提出了CREST，一种无需训练的方法，通过事件核心估计重新锚定池化表示，提高了分布外鲁棒性。