标签
研究训练小规模GPT-2模型于儿童日常语音转录（BabyView）和合成儿童导向对话（TinyDialogues）数据上，发现模型会显著特化于特定儿童的语言环境，多儿童数据能提升对混合留出语言的预测但对语法基准改进有限，表明小数据语言学习不仅取决于数据量，还取决于环境来源与匹配度。
ARMOR-DP 是一个面向多语言 BabyLM 的模块化框架，可根据各语言的验证损失动态调整语言采样。结果表明，表现最弱的语言会在训练过程中发生变化，且动态保护优于固定保护中文的基线方法。
由求是引擎（Qiushi Engine）进行的自主研究项目对BabyLM 2026 Strict-Small进行了端到端的研究，通过原则指导的方法改进了数据高效的语言模型，并在公开快照中取得了最高分。
本文介绍了循环GPT-BERT，它通过深度方向参数共享来训练参数更少的小型语言模型，在BabyLM 2026严格小规模设定中达到了与基准模型相当的性能。