标签
该论文研究无分词器的字节级语言模型，发现配合 token-superposition 训练与哈希嵌入后，扁平 Transformer 随规模扩大能持续超越子词模型，并能自发学习出类似分词器的局部文本抽象，据此可将投机解码的接受率提升 3.4 倍。