@amitiitbhu: Q × Kᵀ 告诉模型每个词与其他词的相关性。Softmax 将其转换为概率。V 提供…
摘要
一条推文解释了Transformer模型中注意力机制的核心公式：Q × Kᵀ 计算相关性，Softmax 将其转换为概率，V 提供内容，构成了现代AI的基础。
Q × Kᵀ 告诉模型每个词与其他词的相关性。
Softmax 将其转换为概率。V 提供实际内容。
一个公式。三个步骤。现代AI的完整基础。
查看缓存全文
缓存时间: 2026/06/27 15:58
Q × KT 告诉模型每个词与其它词之间的相关性。
Softmax 将其转化为概率。V 提供实际内容。
一个公式。三步运算。整个现代 AI 的基础。
相似文章
@amitiitbhu: - 注意力背后的数学 - Q、K、V - 注意力中 √dₖ 缩放因子的数学 - 反向传播背后的数学 - 梯…
一条推文，解释了关键Transformer概念背后的数学基础，包括注意力、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE和RMSNorm。
@pallavishekhar_：Attention 背后的数学原理——Q、K 和 V。阅读地址：https://outcomeschool.com/blog/math-behind-attention-qkv…
Amit Shekhar 撰写的一篇教育博客文章，解释了 Attention 机制的数学原理，特别是详细阐述了 Query、Key 和 Value 矩阵，并辅以逐步的数值示例。
@tetsuoai: 注意力机制是一种查找。每个token构建一个查询，与序列中的每个键进行比较，并拉取值向量…
将Transformer中的注意力机制解释为一种查找操作：每个token构建查询，与键进行比较，并检索加权的值向量，附带视频覆盖完整流程。
@antoniolupetti: 《理解Transformer与注意力机制》是一篇非常有趣的论文，它从应用数学的角度介绍了Transformer架构…
一条推文重点介绍了一篇由Michel Fabrice Serret撰写的arXiv论文，该论文从应用数学的角度介绍了Transformer和注意力机制，涵盖了向量化、多头注意力以及降低注意力成本的方法，如KV缓存和Latent Attention。
@gurtej__gill_: Kimi 团队在三月份写了一篇非常巧妙的论文，修复了我们似乎已经接受的一个基本缺陷……
Kimi 团队的论文 'Attention Residuals'（AttnRes）将 Transformer 中的均匀残差连接替换为基于深度的 softmax 注意力，使每一层能够动态选择先前的表示。该模型在 1.4 万亿个 token 上预训练，拥有 48B 参数，稳定了隐藏状态，并显著提升了推理任务的表现。