visual-guide

一篇直观、可视化的信息论入门介绍，涵盖熵、互信息和信道容量，仅需基础概率知识。该论文阐述了压缩和传输的基本极限。

本文提供了大型语言模型中Transformer架构的可视化指南，涵盖自注意力、因果自注意力、掩码多头注意力以及输出层，并附有逐步解释和示例。

由 Roy van Rijn 构建的交互式可视化指南，解释了大语言模型的工作原理，从令牌化到注意力机制、Transformer 模块以及文本生成。