pretraining-dynamics

#pretraining-dynamics

神经坍缩是被禁止的：语言模型中的信息下限

arXiv cs.CL ↗ · 2026-07-13 缓存

本文认为，语言模型表示中的类内方差并非不完全的神经坍缩，而是分配的信息存储，且这种分配服从信息下限定律。在14个模型中，宏观类别结构仅承载4–12%的表示方差，而词元内上下文则占据79–91%。

0 人收藏 0 人点赞