标签
本文探讨了使用 Byte-Pair Encoding (BPE) 令牌效率作为比熵更有效的替代方法来检测代码中的密钥，重点关注统计罕见性而非随机性。
This paper proposes Pruned BPE, a post-training method that prunes low-exposure tokens from a BPE vocabulary and reallocates slots to better-exposed candidates, reducing encoded length without increasing model-visible vocabulary size. Experiments on English and Chinese corpora show approximately 0.27–0.36% encoded length reduction over standard BPE.
这篇博客文章提出一个使用整数线性规划的算法来计算语言模型的最优分词器，并将其与解决旅行商问题相类比。文中指出，虽然结果在理论上很有趣，但实际的分词器已经接近最优，并且该方法可能不具备良好的泛化能力。
本文介绍了一种增量式字节对编码（BPE）分词算法，该算法处理每个字节的时间复杂度为 O(log^2 t)，支持流式场景下的高效部分分词，并相比现有实现实现了加速。