attention-patterns

新论文发现，LLM中的涌现能力随机地从学习稀疏注意力模式中产生；瓶颈在于学习关注哪些token，这一过程缓慢且不可预测。