parameter-sharing

标签

#parameter-sharing

循环GPT-BERT：以参数换取计算的小型语言建模

arXiv cs.CL ↗ · 6天前缓存

本文介绍了循环GPT-BERT，它通过深度方向参数共享来训练参数更少的小型语言模型，在BabyLM 2026严格小规模设定中达到了与基准模型相当的性能。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈