标签
这篇博客文章提出一个使用整数线性规划的算法来计算语言模型的最优分词器，并将其与解决旅行商问题相类比。文中指出，虽然结果在理论上很有趣，但实际的分词器已经接近最优，并且该方法可能不具备良好的泛化能力。
本文介绍了一种增量式字节对编码（BPE）分词算法，该算法处理每个字节的时间复杂度为 O(log^2 t)，支持流式场景下的高效部分分词，并相比现有实现实现了加速。