词汇解析 (4分钟阅读)

# 分词器词汇量精简 来源：https://ianbarber.blog/2026/08/24/vocab-break/ 分词器爱好者 Sander Land 最近复现了与 Claude 当前分词器极为相似的结构（https://x.com/magikarp_tokens/status/2087859173748854983），其词条量仅约 15,000 个。这令人惊讶！Qwen 3.8 这样强劲的模型版本，其词汇表规模约为 *250k* 个词条。此前该领域似乎普遍遵循着"词条越多越好"的趋势。 一种理论认为，Anthropic 一直在规避最终 softmax 层带来的瓶颈。近期（相对较近）有篇论文对此进行了探讨：《Lost in Backpropagation: The LM Head is a Gradient Bottleneck》（https://arxiv.org/abs/2603.10145），但如果真是这个原因，那么 Throppy 团队早已洞悉此事。 其核心思想在于：在前向传播结束时，必须将模型潜空间（维度 D）投影至规模庞大的词汇空间（维度 V）以选定目标 token。以 Qwen 为例，其 2.4T 参数旗舰模型的隐藏层维度 D 为 8,192，而词汇表维度 V 则达到 250k 规模。 训练过程中，模型输出分布与实际目标 token 进行比对：若模型正确且置信度高，则损失值较小；若模型自信却预测错误，损失值就会很大。该损失值会通过全部 250k 个词条反向传播，进而影响到 8k 维的隐藏层。这种压缩形成了信息回流的瓶颈。具体而言，研究者证明了 logits 的变化量秩最高不超过 2D。因此当 V 远大于 D 时，信息将会丢失： > 我们从理论与实证两方面证明，softmax 瓶颈在反向传播过程中引发了有损压缩 这一现象并非显而易见。正确的分布实际上只对应单一词条（即真正的下一个 token），而隐藏层维度足以表征*该*信息。但在大规模批次训练中，会遇到各种不同的下一个 token。这些信号具有稀疏性，但并非低秩：只要覆盖足够多的样本，几乎每个 token 都会在某些时刻成为"下一个 token"。 这意味着输入的学习信号宽度与词汇表规模相当，模型实际上是在随机采样 D 维子集。这本身不成问题——模型可以学习建立映射关系，但现有流程并未特别鼓励其习得这种映射。 无论词汇量精简是否源于上述瓶颈，关键在于他们如何做到这点！其他模型都在扩大词汇表，但据 Land 估算（https://www.tokenize.rs/claude），Anthropic 却在持续精简：从 Claude 3 时代约 50k 词条缩减至现今约 16k。 因此，无论梯度瓶颈带来何种代价，Anthropic（基本上）并未承受其影响！ 此举还带来诸多益处：无需采用复杂的分块交叉熵核函数（因为不必投影至庞大内存消耗的空间），也不会产生 solidgoldmagikarp1 风格的故障词条（https://en.wikipedia.org/wiki/Glitch_token），因为每个词条都能得到充分训练。 他们并未忽略罕见词条及其他语言，而是采用子词单元，并在最坏情况下回退至 UTF-8 编码。这意味着每段输入文本需要更多 token 表示，注意力机制成本随之上升。不过据 Land 测试，token 数量增幅仅约 1.2-2 倍。这并非毫无代价：压缩分词器确实增加了计算耗时与成本，但权衡之下显然物有所值！ 1. 笔者推测 Land 此举是在调侃自己的用户名。向常规鲤鱼王用户致歉。↩︎ (https://ianbarber.blog/2026/08/24/vocab-break/#d2f05b94-b77c-4f1c-b4ef-67ce99cfe45d-link)