标签
Cartesia 发布了关于分层网络（H-Nets）的研究博客，展示了无需分词器的字节级语言模型在受控实验中实现 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的计算量和数据超越了规模匹配的开源模型，并在代码等领域的表现出色。
该论文研究无分词器的字节级语言模型，发现配合 token-superposition 训练与哈希嵌入后，扁平 Transformer 随规模扩大能持续超越子词模型，并能自发学习出类似分词器的局部文本抽象，据此可将投机解码的接受率提升 3.4 倍。
来自Meta的一篇研究论文表明，字节级语言模型最初逊于基于令牌的模型，但随着计算资源的增加，它们可以超越后者。这通过在高达1万亿字节上训练的精炼10亿参数模型得到展示。
Meta的一篇论文显示，字节级模型起初落后于令牌模型，但随着计算量的增加而超越它们，这通过蒸馏的1B模型在高达1万亿字节的数据上训练得到验证。