探索Claude/GPT的知识截止日期与预训练时间线

# 探索 Claude/GPT 的知识截止时间 来源：https://blog.sshh.io/p/exploring-claudegpt-knowledge-cutoffs 通过用精心设计的请求“探测”前沿模型，我们可以发现一些关于它们训练方式的隐藏事实。 - 通过让模型回答冷门事实问题，我们可以估算 GPT-5 和 Opus 等模型拥有多少参数，这利用了“不可压缩知识探针”（https://arxiv.org/abs/2604.24827） - 通过测量模型如何拆解 token，我们可以揭示训练数据集（或至少是分词器）的构成，这利用了“数据混合推断”（https://arxiv.org/pdf/2407.16607v2） - 通过让模型回答日期或自我识别相关的问题，你还可以估算训练时间线（*本文*） 这里的一切都只是估算。考虑到公开的基准事实并不多，本文中的一些推测有可能完全不正确。 [](https://substackcdn.com/image/fetch/$s_!mFVu!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8b35c394-4ed0-4704-8ea1-5c0868b5fbba_1964x657.png)模型训练的 3 个主要阶段。 作为简短的入门介绍（更多内容参见 Alex Wa 的博客（https://djdumpling.github.io/2026/01/31/frontier_training.html)），我们训练大规模语言模型的方式已收敛为 3 个阶段： 1. 获取海量通用数据（也就是爬取互联网），并在这些数据上“预训练”一个大规模自动补全模型。 2. 使用特定领域的“教科书质量”数据来改进基础模型，并扩展某些基础能力，如长文本理解。 3. 将基础模型转变为“助手”角色，打磨其个性、推理能力和工具调用能力。 虽然越来越多的算力被投入到后训练中以提升模型的推理和问题解决能力，但最昂贵且数据密集的步骤之一仍然是生成那个预训练检查点（所谓“检查点”，你可以想象成一个巨大的 `claude-super-secret-2026-11-01-base.cpkt` 文件）。 虽然各家实验室的操作略有不同，但你可能会看到（~第 44 页（https://drive.google.com/file/d/12RAfy-nYi1ypNMIqbYHjkPXF_jILJYJP/view））： - “预训练”团队启动并照看一个持续数月的训练过程，以获得基础检查点。这些预训练模型通常（但并非总是）对应着发布模型的主版本（GPT-4 → GPT-5）。 - 与此同时，“能力”和“后训练”团队会进行实验，研究如何在最新的基础模型上进行改进。后训练和能力的进展通常体现为发布模型的次版本。这些团队还经常将单个后训练模型“蒸馏”成更小的变体，形成模型家族（Fable/Opus/Sonnet/Haiku、Sol/Terra/Luna）。实验室也可能在预训练检查点只完成 x% 的时候就发布后训练模型——只要这个半成品检查点优于 100% 完成的上一版本检查点。 - 公开发布的模型是将最新检查点与最佳能力和后训练技术相结合的产物。 带着这个理解，我很好奇：仅通过官方 API 探测模型，能在多大程度上“看到”这个过程。 为了估算预训练检查点的日期，我从维基百科构建了一个每日事实数据集（例如 2025 in the United States（https://en.wikipedia.org/wiki/2025_in_the_United_States）），并让每个模型做一套 8 选 1 的多项选择题，内容是关于某一天发生了什么。然后，通过分析错误率时间线，你可以大致看出它在什么时候开始丢失来自训练数据集的信号。 [](https://substackcdn.com/image/fetch/$s_!D2DT!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F26fc9064-a2dd-417b-99e2-c57b5180e3c6_1932x1073.png)查看完整数据集。（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/timeline.html） 对于 GPT-5.4，你可以看到基于事实估算的知识截止时间与 OpenAI 公布的截止时间一致。曲线平滑是因为模型能更好地猜测近期事件，同时训练数据中较近的事件采样不足。这也是为什么我使用曲线的中点而不是起点或终点。 然后你可以为所有模型绘制这样的曲线。 [](https://substackcdn.com/image/fetch/$s_!0Z90!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd36085b5-77e7-4291-880f-ebf1f2726fa4_1862x1367.png)查看完整数据集。（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/timeline.html） 估算的知识截止时间与发布日期。在完整查看器中并排比较模型曲线，更容易看出截止时间大致发生在哪里以及曲线的陡峭程度。 仔细观察这些图表后，以下是我的推测： - **Anthropic 的 Opus 4.7 及之后的所有模型都来自同一个训练过程，其数据截止时间大约在 2025 年 12 月下旬。** 这是因为它们都享有非常相似的有效知识截止时间（绿色曲线）。我在这里做的一个核心假设是：预训练基础模型的完成时间与数据集的时间跨度高度相关。如果这个假设错了，结果可能会有偏差（例如实际上是 2026 年 1 月）。有趣的是，Opus 4.7+ 各模型公布的可靠和整体知识截止时间完全相同——也许是因为使用了新的后训练技术？ - **OpenAI 的 GPT-5.6 家族来自它们自己的检查点，与 GPT-5.5 分开，大约在 2026 年 2 月下旬完成。** 这是基于它们与之前模型具有不同的有效知识截止时间。你会注意到 Luna 看起来能预测未来——这更像是它在“低”推理强度下整体错误率很高的伪影。 - **Opus 5 有点不寻常。** 它公布的可靠和整体知识截止时间都是 2026 年 5 月，但它似乎并不比之前 2026 年 1 月截止时间的模型知道更多。我做了几次消融实验来检验这是否是我使用的探测问题类型造成的伪影，但结果并非如此——这种截止时间同样适用于编码包版本的回忆。 如果你直接问模型“今天是什么时候”呢？ [](https://substackcdn.com/image/fetch/$s_!54o9!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fa888f210-3996-4206-a5e9-e8f572d55bc7_1156x1053.png)查看完整数据集。（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/month.html） 在虚线上，模型的自我认知与其事实知识一致；在虚线以下，模型认为自己活在自己的过去。近期的 OpenAI 模型被排除在外，因为 API 会将实际日期注入所有请求（TIL！这个功能确实让很多人恼火（https://community.openai.com/t/to-openai-you-must-stop-injecting-a-system-message-to-api-gpt-5-that-is-counter-to-developer-applications/1348819/6））。 结果表明它与基于事实的估算相当相关。如果你仔细看，可以看到在几个模型家族内部有垂直线。 - GPT-4.1 nano → GPT-4.1 mini → GPT-4.1 - Opus 4.7 → Sonnet 5 → Fable/Opus 5 将这张图解释为 X = “预训练语料”，Y = “后训练行为”，这些垂直条带（X 恒定，Y 递增）可视化了偏向新近数据的后训练过程。可能是从旧的教师模型副本进行蒸馏，导致较小模型自我报告更早的日期。 你还可以通过看模型自认为是谁，来间接推断训练时间线和数据集。模型在预训练数据中看到“我是 X”的次数越多，在被追问且没有其他背景信息时，它就越有可能重复这句话。 [](https://substackcdn.com/image/fetch/$s_!B3Y_!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fdaea6cca-e15a-40d3-80cf-7d695f9fe9f5_2305x1794.png)完整数据集。（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/name.html） 每一行是一个真实模型；每一列是一个自称的身份，来源于 50 次“你是什么模型？”探测（5 种措辞 × 10 个样本，带猜测引导，无系统提示）。单元格颜色 = 模型回复中声称该名称的比例；绿色轮廓 = 该声称与模型的真实家族匹配（粗体轮廓 = 完全一致的版本——从未发生过。更多有趣的图表。（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/identity.html） 仔细观察这些图表后： - **垂直带清晰地显示出实验室在旧模型输出（来自用户）上进行训练的痕迹。** 对于 OpenAI，依次是 GPT-4、GPT-4o、GPT-4.1（持续了一段时间）、GPT-5 和最近的“ChatGPT”。对于 Anthropic，先是 3.5 Sonnet，然后较新的模型切换到 Sonnet 4.5。这似乎与分别在 ChatGPT.com 和 Claude.ai 上训练聊天记录的情况相当吻合——用户与最新模型聊天，这些会话成为训练材料（直接或通过网络污染）。在我看来，这些不太可能来自内部合成数据集，因为内部合成数据集要抑制模型身份会容易得多（而消费级聊天会话中的系统提示则嵌入了这些信息）。基于聊天记录训练并不是什么新鲜事，但有趣的是，这种探测方式竟然能如此直白地将其呈现出来。 - **有点劲爆的是，OpenAI 模型从来不认定自己是其他实验室的模型（除了短暂的 Tesla Model S），而 Anthropic 的 Sonnet 5 却经常自称是 GPT-4。** 它们不太可能有意蒸馏 GPT-4，但也有可能是一堆较旧的 ChatGPT 聊天记录仍在进入 Claude 的训练数据混合中。这也可能通过 Sonnet 3.5 谱系代代相传（即 Sonnet 5 是在 Sonnet 3.5 的数据上训练的，而 Sonnet 3.5 本身的数据集可能就充满了 GPT-4 的内容）。此外，在一个后续实验中，当被要求“以模型 X 的身份”回答身份问题时，Claude 复现 OpenAI 模型可测量怪癖的比例为 68%；而 OpenAI 模型在 Claude 上只能做到 8%。 就这样。希望你觉得这有点意思。如果你想探索这些数据，以下是链接： - 模型知识时间线（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/timeline.html） - 每个模型认为自己现在是哪个月份？（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/month.html） - 模型知道自己的名字吗？（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/name.html） - 身份年份：每个模型认为自己来自哪个时代？（https://gistpreview.github.io/?42fc789e03aec6aa6b9ef841f66cabcc/identity.html） #### 关于此帖的讨论 ### 想要更多？