noisy-channel

该论文提出了一种香农缩放定律，将LLM训练建模为通过噪声通道的信息传输，解释了灾难性过训练和量化退化等非单调性能现象，并展示了相比传统缩放定律更优越的预测精度。