induction-head

标签

Cards List
#induction-head

@Tiberiu_Musat_: LLM训练中到底发生了什么?我们能否理清那数十亿个相互作用的参数?在最新研究中…

X AI KOLs Timeline · 5天前 缓存

这份预印本揭示,在特定的数据对称性下,LLM的训练动态可以简化为一个低维子空间,从而使分析更易处理且更具可解释性,每个坐标都对应一个清晰的机制。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈