6b-parameter

Kyutai Labs 训练60亿参数模型，使用按时间顺序从2018年到2025年排列的Common Crawl数据，表明近期年份上的性能下降消失，并开源检查点以供持续学习研究。