@DanKornas: 每个层都有自己的笔记本，从零开始构建LLM就更容易了。EveryonesLLM是一个基于Google Colab的教程…

X AI KOLs Timeline 工具
llm tutorial colab open-source nano-gpt education transformer

摘要

EveryonesLLM是一个开源的基于Google Colab的教程仓库，用于从零开始构建nanoGPT风格的LLM，包含逐步章节，涵盖数据加载、嵌入、注意力机制、训练和指令调优。

从零开始构建LLM时，每层都有自己的笔记本会更简单。 EveryonesLLM 是一个基于 Google Colab 的教程仓库，用于从零开始构建 nanoGPT 风格的 LLM。 它通过将路径拆分为编号章节，逐步帮助你学习整个技术栈，从数据加载和嵌入到注意力机制、训练、扩展、指令调优，以及一个测试版的视觉LLM轨道。 主要特点： • Colab 优先的课程 – 每章都链接到一个“在Colab中打开”的笔记本，并附有预估时间 • 逐层路径 – 涵盖数据加载器、标记/位置嵌入、层归一化、注意力机制、Transformer模块、logits 和 nanoGPT • 训练进度 – 包括 CPU/GPU 速度检查、更大的模型/数据集、学习率调度、检查点、预训练和指令调优 • 练习+答案笔记本 – 分开的待办和答案笔记本让实践和对比更简单 • 额外学习辅助 – README 中链接了张量图、演示/Web应用，以及测试版的视觉预训练/指令调优章节 它是开源的（MIT许可证）。 链接在回复中
查看原文
查看缓存全文

缓存时间: 2026/06/18 00:04

当每一层都有自己的笔记本时，从头构建一个LLM会更容易。

EveryonesLLM 是一个基于 Google Colab 的教程仓库，用于从头构建一个 nanoGPT 风格的 LLM。

它通过将路径拆分为编号章节，帮助你逐步学习整个技术栈，从数据加载和嵌入到注意力机制、训练、扩展、指令微调，以及一个 beta 版本的视觉 LLM 分支。

关键特性：

• Colab 优先的课程 – 每章链接到一个“在 Colab 中打开”的笔记本，并附有预估时间 • 逐层路径 – 涵盖数据加载器、词元/位置嵌入、层归一化、注意力机制、Transformer 块、logits 以及 nanoGPT • 训练进程 – 包括 CPU/GPU 速度检查、更大的模型/数据集、学习率调度、检查点、预训练和指令微调 • 练习 + 答案笔记本 – 独立的待办和答案笔记本使练习后对比更加容易 • 额外学习辅助 – README 中链接了张量图、演示/Web 应用，以及 beta 版本的视觉预训练/指令微调章节

它是开源的（MIT 许可证）。

链接在回复中。

相似文章