Transformer 数学探索器 [P]
摘要
这个交互式工具通过数据流图可视化 Transformer 模型的数学基础，涵盖了从 GPT-2 到 Qwen 3.6 的架构以及各种注意力机制。
这是一个面向 Transformer 模型的交互式数学参考，通过数据流图呈现，一直深入到初等数学。涵盖从 GPT-2 到 Qwen 3.6 的模型，支持 MLA、MoE、RoPE、MTP、混合注意力及其他变体的切换。最初是为自己做的，用来跟踪所有变体。如果你发现错误，或者觉得某些内容不直观或具有误导性，请告诉我！
相似文章
Transformer模型图解
一个交互工具，视觉化解释Transformer模型的架构，使用GPT-2来说明关键组件，如嵌入、注意力机制和输出预测。
Transformer Explainer：交互式学习文本生成模型
Transformer Explainer 是一个交互式可视化工具，让非专业人士能够通过浏览器中的实时实验和可视化，理解 GPT-2 模型的内部工作机制。
@AlphaSignalAI: 这个免费的交互式解释器刚刚揭示了GPT实际上是如何工作的。大多数人把Transformer当作魔法。你输入…
一个名为Transformer Explainer的免费交互式工具，在浏览器中运行实时GPT-2模型，通过桑基图和实时推理可视化Transformer的内部工作原理。
Transformer Circuits 的数学框架（2021）
本文提出了一种数学框架，用于逆向工程 Transformer 模型，以增强机制可解释性并解决 AI 系统中的安全问题。
论Transformer的表达能力
一篇综述论文，考察Transformer作为语言识别器的表达能力，运用电路复杂性的概念和方法将其与经典计算模型进行比较。