tiktoken

quicktok 是一个快速且精确的 BPE 分词器，用 C++ 编写，与 tiktoken 字节一致，比现有替代方案快 2–11 倍。支持 cl100k、o200k、GPT-OSS、Llama-3 和 Qwen2.5/3 编码器。