ttok 1.0

Simon Willison's Blog 工具
tokenizer cli-tool openai gpt-5 gpt-6 release developer-tools

摘要

Simon Willison 发布了 ttok 1.0，将默认分词器从 GPT-4 切换为 GPT-5/GPT-6 系列，依据是实验确认 GPT-6 与 GPT-5 家族使用相同的 tokenizer。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/09 06:18

# 发布：ttok 1.0 来源：https://simonwillison.net/2026/Oct/9/ttok/ 我发布了 ttok 0.4（https://simonwillison.net/2026/Oct/8/ttok/），运行 `uv tool upgrade ttok`，把一个文件通过管道输入到新版本……然后发现它默认使用的是 GPT-4 的 tokenizer，而它显然应该默认使用 GPT-5/GPT-6！ 我想，切换默认值正好是个不错的借口，可以借此正式发布 1.0。 OpenAI 其实还没有确认 GPT-6 是否使用与 GPT-5 系列相同的 tokenizer——有一个愤怒的 issue 在讨论此事（https://github.com/openai/tiktoken/issues/608）——但我找到了 William Liu 的这个 commit（https://github.com/williamliu-ai/token-count-compare/commit/8d8a2178538bb37beb548fc37378135e4ff4b0c8），其中记录了他所做的一个实验，证实两者的 tokenizer 很可能是相同的： > 全部七个 GPT 模型（5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna）都报告了 44,794 个 token，并且在全部 31 个测试用例上结果完全一致。GPT-6 在该测试集上没有带来任何输入 token 数量的变化。

相似文章

Meet GPT-5.6

Reddit r/singularity

OpenAI 发布 GPT-5.6 系列模型，每个 token 提供更多智能、更强方向一致性，并引入程序化工具调用、子代理委托和全新推理级别，显著提升自主开发效率。

ttok 0.4

Simon Willison's Blog

Simon Willison 发布 ttok 0.4，更新了 Click 警告、CI，并新增 --list-models 命令，可通过 uvx 直接运行来统计 token 数量。

Everything we currently know about GPT 5.6

Reddit r/ArtificialInteligence

根据泄露信息，OpenAI 的 GPT‑5.6 已接近完成，预计拥有 150 万上下文窗口，价格仅为 Fable 5 的三分之一，前端生成质量显著提升。发布可能推迟至 28 号之后。