标签
来自Meta的一篇研究论文表明，字节级语言模型最初逊于基于令牌的模型，但随着计算资源的增加，它们可以超越后者。这通过在高达1万亿字节上训练的精炼10亿参数模型得到展示。
Meta的一篇论文显示，字节级模型起初落后于令牌模型，但随着计算量的增加而超越它们，这通过蒸馏的1B模型在高达1万亿字节的数据上训练得到验证。