pre-ln

标签

#pre-ln

Pre-LN Transformer中部分残差消融的可重复性研究

arXiv cs.LG ↗ · 2026-08-18 缓存

一项可重复性研究揭示了在Pre-LN Transformer中移除残差连接时产生的非对称效应：移除注意力跳跃导致崩溃，而移除FFN跳跃在较小规模下允许部分恢复。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈