@pallavishekhar_: 逐步学习LLM内部原理 - 从分词到注意力到推理优化 - BPE - 分词 - Tran…

X AI KOLs Timeline 工具
llm learning tokenization transformer attention inference-optimization

摘要

一条推文，推广逐步学习LLM内部原理的资源，涵盖分词、注意力机制和优化技术。

逐步学习LLM内部原理 - 从分词到注意力机制再到推理优化 - BPE - 分词 - Transformer架构 - 注意力背后的数学 - Q、K 和 V - √dₖ缩放因子背后的数学 - 因果掩码 - KV缓存 - 分页注意力 - Flash注意力 - 专家混合 - 分组查询注意力 - RoPE - RMSNorm - LoRA - 以及更多。 在此学习：
查看原文
查看缓存全文

缓存时间: 2026/06/09 14:49

逐步学习LLM内部原理——从分词到注意力机制再到推理优化

  • BPE
  • Tokenization
  • Transformer Architecture
  • Math behind Attention - Q, K, and V
  • Math behind √dk Scaling Factor
  • Causal Masking
  • KV Cache
  • Paged Attention
  • Flash Attention
  • Mixture of Experts
  • Grouped Query Attention
  • RoPE
  • RMSNorm
  • LoRA
  • 以及更多。

在此学习：

相似文章

大语言模型实际工作原理

Lobsters Hottest

深入剖析现代大语言模型的工作原理，涵盖从分词到下一个词预测的核心机制，无需复杂数学知识。