@mdancho84：你的 LLM 从未见过你的提示词。它看到的是 token。大多数转向 AI 工程领域的数据科学家都直接忽略了这一点。……

X AI KOLs Timeline 新闻
tokenization llm ai-engineering bpe education prompts

摘要

Matt Dancho 解释了为什么理解分词是转向 AI 工程的数据科学家必备的技能，重点介绍了词元如何影响上下文窗口、成本、嵌入和多语言表现，并提供了一本分词手册和一场免费工作坊的链接。

你的 LLM 从来都看不到你的提示词。 它看到的是词元。 大多数转向 AI 工程的数据科学家都会直接跳过这一点。 他们不该如此。 在学习智能体、RAG、MCP 或微调之前……先了解 LLM 实际看到的是什么。 因为它看到的并不是这句话： “帮我构建一个机器学习模型。” 它看到的是词元。 而在构建真实的 AI 系统时，词元化会悄然影响你关心的几乎所有方面： → 上下文窗口限制 → API 成本 → 代码生成 → 数字 + 标识符 → 多语言表现 → 嵌入 → 聊天模板 → 模型训练 这类话题看起来像是实现细节…… 直到你在调试 AI 系统时，才发现模型接收信息的方式与你想象的不同。 而且，关于它的误解有很多。 BPE 并不一定是字节级的。 SentencePiece 并不是一种词元化算法。 词元 ID 不是语义坐标。 你也不能像在 Scikit-Learn 中更换预处理函数那样，随意替换已训练模型的词元化器。 这也是当下正在发生的转变的一个绝佳例子： 数据科学教会我们理解模型。 AI 工程则要求我们理解围绕模型的整个系统。 提示词。 词元。 上下文。 检索。 工具。 智能体。 记忆。 基础设施。 这就是我越来越关注的技能体系。 因此，这里有一本从基本原理出发讲解词元化的技术手册： 理解词元化：文本如何变成 LLM 实际看到的词元 它涵盖了从 Unicode 和 BPE，到聊天模板、代码、多语言文本、上下文限制，以及一些重要程度出人意料的失效模式。 如果你正在从： 数据科学家 → AI 工程师 那么，这些内容值得你去理解。 在这里获取手册 → https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view… 🚨 想学习如何构建并交付 AI 和数据科学项目（企业在 2026 年真正需要的项目）吗？ 11 月 11 日，我将举办一场免费工作坊，帮助你开始用 Python 开发 AI + 数据科学项目（免费）。 在这里报名（500 个名额）：https://learn.business-science.io/ai-register
查看原文
查看缓存全文

缓存时间: 2026/11/01 03:41

你的大语言模型从来都看不到你的提示词。

它看到的是词元。

大多数转向 AI 工程的数据科学家都会直接跳过这一点。

他们不该这样。

在学习智能体、RAG、MCP 或微调之前……先弄清楚大语言模型实际看到的是什么。

因为它看到的并不是这句话：

“帮我构建一个机器学习模型。”

它看到的是词元。

而在构建真正的 AI 系统时，词元化会悄然影响几乎所有你关心的方面：

→ 上下文窗口限制 → API 成本 → 代码生成 → 数字 + 标识符 → 多语言表现 → 嵌入 → 聊天模板 → 模型训练

这个话题乍看之下似乎只是一个实现细节……

直到你在调试 AI 系统时，才发现模型接收信息的方式与你想象的并不一样。

而且，关于它的误解还有很多。

BPE 并不一定是字节级的。

SentencePiece 并不是一种词元化算法。

词元 ID 并不是语义坐标。

你也不能像更换 Scikit-Learn 中的预处理函数那样，随意替换已训练模型的词元化器。

这也很好地体现了当下正在发生的转变：

数据科学教会我们理解模型。

AI 工程则要求我们理解围绕模型的整个系统。

提示词。 词元。 上下文。 检索。 工具。 智能体。 记忆。 基础设施。

这就是我越来越关注的技能体系。

所以，这里有一本从基本原理出发讲解词元化的技术手册：

理解词元化：文本如何变成大语言模型实际看到的词元

它涵盖了从 Unicode、BPE 到聊天模板、代码、多语言文本、上下文限制，以及一些重要程度出人意料的故障模式。

如果你正在从：

数据科学家 → AI 工程师

那么这个话题值得你弄明白。

在这里获取手册 → https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view…

🚨 想学习如何构建并交付 AI 和数据科学项目（2026 年企业真正需要的项目）吗？

11 月 11 日，我将举办一场免费工作坊，帮助你开始用 Python 开发 AI + 数据科学项目（免费）。

在这里报名（500 个名额）：https://learn.business-science.io/ai-register

Google 云端硬盘：登录

来源：https://accounts.google.com/v3/signin/identifier?continue=https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view&followup=https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view&osid=1&passive=1209600&service=wise&flowName=WebLiteSignIn&flowEntry=ServiceLogin&dsh=S-1758325261:1793504511905795 Google

以继续使用 Google 云端硬盘

电子邮件地址或电话号码

忘记了电子邮件地址？ (https://accounts.google.com/signin/usernamerecovery?continue=https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view&dsh=S-1758325261:1793504511905795&flowEntry=ServiceLogin&flowName=WebLiteSignIn&followup=https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view&osid=1&service=wise)

不是你的计算机？使用访客模式私密登录。\了解有关使用访客模式的更多信息 (https://support.google.com/chrome/answer/6130773?hl=en-US)

创建账号 (https://accounts.google.com/lifecycle/flows/signup?continue=https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view&dsh=S-1758325261:1793504511905795&flowEntry=SignUp&flowName=GlifWebSignIn&followup=https://drive.google.com/file/d/13PucjYSadngh5kPAzSN5PlWIf9nkdN_A/view&osid=1&service=wise)

相似文章

为什么AI的token使用量如此高？

Reddit r/AI_Agents

本文探讨了AI代理中token使用量为何会因系统提示和工具定义等因素而迅速增加，并询问了管理token消耗的有效技术。

大语言模型实际工作原理

Lobsters Hottest

深入剖析现代大语言模型的工作原理，涵盖从分词到下一个词预测的核心机制，无需复杂数学知识。