performance-degradation

该论文提出了一种香农缩放定律，将LLM训练建模为通过噪声通道的信息传输，解释了灾难性过训练和量化退化等非单调性能现象，并展示了相比传统缩放定律更优越的预测精度。

本文识别了'技能库漂移'作为自进化LLM技能库中的一种隐性故障模式，其中无限制的技能积累导致检索退化与性能停滞。它提供了踪迹级诊断及经过验证的治理方案，将MBPP+ hard-100上的pass@1从0.258提升至0.584。