tokenization

本文提出了一种用户表示学习的稠密化定律，量化了数据规模与分词容量之间的关系，并引入了一种自适应分词方法ALGN，以提高十亿级场景的效率。

一条推文推荐了一门斯坦福课程，清晰完整地解释了像ChatGPT和Claude这样的AI模型是如何构建的，涵盖了分词、Transformer架构和训练过程。

一个新的名为FreeToken的开源项目已经发布，包含一篇研究论文和GitHub仓库，测试显示在消费级硬件上，其token处理速度可达约100个token每秒。

CZ倡导在所有区块链上进行代币化以吸引外国直接投资（FDI）。BNB Chain报告称，30天内RWA持有者增加了370%。

SuTRA是一种形态感知的词元化算法，它保留了印度语言中akshara的不可分割性，减少了形态破碎现象，并在机器翻译指标上相较于标准BPE方法有所提升。

本文研究了当分词与语言建模联合优化时所学习到的词元，比较了跨多种语言的无分词器方法，发现它们为自然语言处理生成了独特而高效的词汇表。

本文挑战了关于Voynich手稿语言单元的标准假设，通过定量分析表明，字形、记号和空格并不如普遍认为的那样对应于字母、单词和单词间隔。

本文提出了一种针对字节级分词的压缩方案，利用自动补全模型从输入序列中移除可预测的字节，在保持多语言机器翻译性能的同时缩短序列长度。

ReconSpan 引入了一种自适应潜在分词方法，利用后向解码器将文本划分为可重构的块，从而实现可变长度的潜在标记以及训练后对粒度的控制。

本文认为最优分词器词汇表大小并非固定不变，而是取决于部署场景，例如批大小和推理量。通过roofline分析以及在A10G和A100 GPU上的实验，本文展示了在端侧部署和数据中心服务之间，生命周期最优词汇量可变化多达16倍，且对质量影响极小。

一位用户分享了一个观察：Qwen 和 Gemma 对代码的分词方式非常不同，对于相同的 HTML/JS 输入，Qwen 使用的 token 数量远少于 Gemma，这可能解释了它们在编程和语言任务上的表现差异。他们还提到了 LiquidAI 的一个可能使用更高效分词器重新训练模型的项目。

这篇arXiv论文评估了在来自三个医疗系统的ICU EHR数据上，对令牌化生成式事件模型（GEMs）进行联邦训练的效果，结果表明联邦学习能够保留集中式训练的大部分性能，并且与传统监督模型相比，提高了跨站点的可迁移性。

This paper proposes Pruned BPE, a post-training method that prunes low-exposure tokens from a BPE vocabulary and reallocates slots to better-exposed candidates, reducing encoded length without increasing model-visible vocabulary size. Experiments on English and Chinese corpora show approximately 0.27–0.36% encoded length reduction over standard BPE.

TokTier is a stateful tokenization service that cuts tokenization overhead in agentic LLM serving by reusing stable token boundaries and running exact CPU/GPU tokenization, reducing time-to-first-token by 16–34% under vLLM.

本文提出GenCDSR，一种用于跨域序列推荐的生成式框架，采用混合分词与串并化解码，在准确率上优于现有最优基线，并将推理延迟显著降低。

本文研究了语言模型在27种语言中是否对替代（非规范）分词保持鲁棒性，发现英语中观察到的不变性并不具有普适性，且分词碎片化程度更高的语言表现出更高的敏感性。作者证明，使用多分词数据的LoRA微调可以有效缓解这种敏感性。

本文提出JOLT，一种整数规划方法，用于优化基于从左到右贪心最长匹配解码（WordPiece）的子词分词。JOLT实现了近乎最优的压缩，缩小了BPE与理论下界之间的大部分差距，使token数量相比BPE最多减少0.78%。

本文介绍了BHARATI，一组基于SentencePiece BPE的分词器，在针对古典印度语言的平衡多语语料库上训练而成。子词丰富度分析显示，分词效率显著提升，与基线分词器相比，序列长度最多缩短90%，从而提高了下游语言模型的有效上下文长度。

巴西农民在B3证券交易所将10头奶牛代币化，筹集了近2万美元的牲畜担保信贷，使用AI智能追踪项圈防止欺诈并实现动产抵押。

GigaToken 是一个超快速的分词器库，声称比 HuggingFace 分词器快达 1000 倍，支持大多数常见的大语言模型分词器，并提供即插即用的兼容性。