position-embedding

本课程笔记总结了从原始Transformer到现代LLM的架构演变，重点介绍了预归一化、RMS归一化、RoPE等趋同演化，并提供了超参数选择建议。