自注意力与交叉注意力交互图示。打开 https://t.co/RgpT6ger01 https://t.co/FETxf0Zzql

自注意力与交叉注意力

来源：https://www.byhand.ai/p/library-models-attention-self-vs-cross

技术库 (https://www.byhand.ai/p/library)›注意力机制 (https://www.byhand.ai/p/library-series-models-attention)

1. QKV投影 (https://www.byhand.ai/p/library-models-attention-qkv-projection)
2. 注意力计算 (https://www.byhand.ai/p/library-models-attention-ktq-score)
3. 自注意力 (https://www.byhand.ai/p/library-models-attention-self-attention)
4. 交叉注意力 (https://www.byhand.ai/p/library-models-attention-cross-attention)
5. 自注意力与交叉注意力对比
6. 自注意力 (共享KV) (https://www.byhand.ai/p/library-models-attention-self-attention-shared-kv)
7. 多头注意力 (https://www.byhand.ai/p/library-models-attention-mha)
8. 融合QKV (多头) (https://www.byhand.ai/p/library-models-attention-fused-qkv)
9. 单头vs多头注意力 (https://www.byhand.ai/p/library-models-attention-single-vs-multi-head)
10. 多查询注意力 (https://www.byhand.ai/p/library-models-attention-multi-query-attention)
11. 分组查询注意力 (https://www.byhand.ai/p/library-models-attention-gqa)

这是对前两篇文章的回顾，并排展示。

**上图：自注意力。**午夜时分，N位邻居都醒着，每个人都问：“谁家的狗在叫？“每位邻居都在询问其他所有邻居。得分矩阵是方阵：询问者与被询问者是同一批N个人。

**下图：交叉注意力。**周六早晨，N位邻居要外出，询问M位青少年：“谁可以照看我的狗？“每位邻居询问每位青少年，但不询问彼此。得分矩阵是矩形：询问者与被询问者是两个不同的群体。

两者使用相同的X作为查询源。唯一区别在于键(K)和值(V)的来源。在自注意力中，K和V来自X本身；在交叉注意力中，K和V来自第二个序列E。正是这一改变使得矩阵从N×N变为N×M。

注意两者保持不变的要素：Q和K必须共享相同的键维度，因为点积KT×Q仅在两者处于同一空间时才成立。而V在两种情况下都可以自由设定维度。

下一项：6. 自注意力 (共享KV) (https://www.byhand.ai/p/library-models-attention-self-attention-shared-kv)

本文讨论区

想了解更多？