标签
本文介绍了PAYN，一种即插即用的令牌压缩方法，专为基于MLLM的指代表达分割设计，仅依赖位置信息，通过保持空间关系一致性，性能超越现有技术。
本课程笔记总结了从原始Transformer到现代LLM的架构演变，重点介绍了预归一化、RMS归一化、RoPE等趋同演化，并提供了超参数选择建议。