标签
康考迪亚大学和 Mila 的研究人员在一个词元统计服从齐普夫分布、具有瓶颈约束的二元语言模型中，推导出了预测遗憾的精确缩放定律，将容量驱动的缩放行为与优化效应分离开来，并在 WikiText2 和 OpenWebText 上验证了理论预测与实验结果的一致性。