bytes

本文比较了在13种语言的受控语言内容下，作为语言模型文本编码的子词令牌、原始字节和渲染像素。它追踪了速率-效用前沿，发现没有一种编码在所有任务中占主导地位：像素最佳地保留了表面形式，字节最佳地保留了跨语言对齐，令牌最佳地支持了主题预测。