byte-level-tokenization

本文研究了字节级语言模型中训练规模与UTF-8生成可靠性之间的关系，发现UTF-8有效性收敛的速度比困惑度大约慢一倍。作者引入了用于隔离结构有效性的评估协议，并表明可靠的UTF-8生成是一种需要单独评估的独特能力。