mixture-collapse

本文探讨了预训练语言模型在推理过程中未能保留token嵌入连续混合的原因，确定了架构扭曲和动态系统效应为主要失败来源。