positional-encoding

一篇深入探讨现代密集Transformer内部工作原理的博文，涵盖YaRN（位置信息）、混合注意力（实现160k上下文长度）、soft capping、QK归一化，以及Transformer数学（包括FLOPs/Token公式和集群规模估算）。

一条社交媒体帖子讨论了直接将RoPE旋转应用于KV缓存的技术含义，指出这会泄露位置信息到值矩阵V。

本文深入剖析了 DeepSeek-V4 中 RoPE（旋转位置编码）设计的技术细节，重点阐述了在 CSA 和 HCA 模块中如何处理 token 压缩与共享 KV 缓存。