Compute Optimal Tokenization (2分钟阅读)

# 计算最优分词 来源：https://arxiviq.substack.com/p/compute-optimal-tokenization **作者：** *Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer* **论文：** https://arxiv.org/abs/2605.01188v1 **代码：** https://co-tok.github.io/ **做了什么？** 作者通过训练近 1300 个模型，系统性地推导出考虑压缩率的神经缩放定律，以确定信息粒度（每词元字节数）如何影响最优计算分配。 **为什么重要？** 这项工作证明了广泛接受的“模型参数每 20 个词元”这一启发式方法是特定子词分词器带来的假象。建立基于字节且与分词器无关的缩放定律，为跨语言和模态最大化计算效率提供了稳健框架。 **执行摘要：** 对于优化大规模预训练流程的研究团队而言，分词方案常被当作静态预处理步骤。本文重新将分词定义为动态缩放变量。通过优化“压缩率”（信息密度），作者证明训练数据应按*字节*而非词元与模型参数成比例缩放。此外，他们揭示最优压缩率依赖于计算预算，随着 FLOP 预算增加需要更低的压缩率，从而为训练高效、超大规模多语言基础模型提供了新蓝图。 [](https://substackcdn.com/image/fetch/$s_!FDxH!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F87babda4-43d1-4389-883a-172a4cbe0fe9_5504x3072.jpeg) 基础模型的缩放很大程度上由既定缩放定律主导，最著名的启发式方法源自《训练计算最优的大型语言模型》(https://arxiv.org/abs/2203.15556)（Chinchilla），该定律提出每模型参数大约对应 20 个训练词元的最优比例。然而，这一启发式方法的一个关键盲点在于它依赖于固定的分词方案。严格以词元表达数据量忽略了每个词元所代表的可变信息密度，实际上将基本缩放行为绑定到了字节对编码（BPE）分词器的任意机制上。本研究将词元本身作为变量，以确定缩放行为中真正的不变量，从而揭示出流行的分词器在多大程度上固有地扭曲了计算分配。