标签
一篇博客文章的公告，解释了 BarunLM（一个 35M 参数的语言模型）的设计，涵盖其架构、训练方案和数据集准备，重点介绍了相对于其他 sub-100M 模型的效率和性能提升。
提出距离自适应表示（DAR），该方法对远距离token降低键值维度，同时保留附近token的全维度，在不损失性能的前提下提升KV缓存效率。
解释了Transformer中的稀疏注意力，通过仅关注部分令牌（使用局部或学习到的注意力模式）来降低计算复杂度。