标签
由求是引擎（Qiushi Engine）进行的自主研究项目对BabyLM 2026 Strict-Small进行了端到端的研究，通过原则指导的方法改进了数据高效的语言模型，并在公开快照中取得了最高分。
本文介绍了循环GPT-BERT，它通过深度方向参数共享来训练参数更少的小型语言模型，在BabyLM 2026严格小规模设定中达到了与基准模型相当的性能。