标签
本文提出了一种基于贝叶斯框架的互懂性模型（即无需训练即可理解相关语言），采用噪声信道方法。该模型在三种语言对上的预测与人类行为进行了比较，显示出比更大的零样本模型更一致的结果。
该论文提出了一种香农缩放定律，将LLM训练建模为通过噪声通道的信息传输，解释了灾难性过训练和量化退化等非单调性能现象，并展示了相比传统缩放定律更优越的预测精度。