token-allocation

一位从高频交易转行AI的专家认为，AI领域的赢家将是那些优化每美元token支出的公司，而非支出最多的公司，并将token分配比作交易大厅中的资本配置。

提出了一种三项缩放定律，将模型大小、训练步数和批次大小解耦，使得用更少的运行次数即可进行稳健拟合，并推导出次优批次大小的缩放定律。