@sairahul1：没人告诉你GPT或Claude内部到底是什么。他们说“transformer”然后就略过了。这个仓库从头构建了一个……

X AI KOLs Timeline 工具
transformer from-scratch tutorial attention open-source gpt claude

摘要

一个仓库，从头构建transformer，不用高级库，解释注意力机制和完整训练流程，在免费Colab上一天内可训练。

没人告诉你GPT或Claude内部到底是什么。 他们说“transformer”然后就略过了。 这个仓库从头构建了一个——没有高级库，没有抽象，没有捷径。 你清楚地看到注意力是如何工作的。 多头注意力如何工作。 嵌入、残差和层归一化如何组合在一起。 然后它走完整个流程： 原始数据 → 预处理 → 分词 → 训练循环 → 生成文本。 当参数达到1300万时，输出开始生成正确的语法和拼写。 你可以在免费的Colab上一天内训练完成。 收藏这个，自己动手构建 ↓
查看原文
查看缓存全文

缓存时间: 2026/06/16 13:39

没有人真正告诉你GPT或Claude的内部是怎么工作的。

他们只说一句“transformer”就带过了。

这个项目从零构建了一个——没有高级库，没有抽象封装，没有捷径。

你可以清清楚楚看到注意力机制如何运作。 多头注意力如何工作。 嵌入层、残差连接、层归一化如何拼装在一起。

然后它走完了完整流程：

原始数据 → 预处理 → 分词 → 训练循环 → 生成文本。

当参数量达到1300万时，输出就开始产生正确的语法和拼写。

你可以在免费的Colab上花一天时间训练它。

收藏这个项目，自己动手构建一个 ↓

相似文章

@NFTCPS: 天天喊着搞AI，结果你连Transformer是个啥都说不清？ 有个仓库够狠，从零手搓一个GPT，不调任何高级库。Attention、多头、前馈、Embedding、残差、Layer Norm，怎么拼起来的全摊给你看。而且不止模型，整条链…

X AI KOLs Timeline

一个GitHub开源项目，从零实现完整的GPT训练流程，包含数据预处理、预训练、SFT和RLHF后训练，全部基于原生PyTorch，适合想深入理解Transformer原理的开发者。