@kyutai_labs: 我们训练60亿参数模型，基于Common Crawl数据按时间顺序从2018年到2025年排序，使得最新数据最后被模型看到…

X AI KOLs Following 2026/05/26 15:37 论文

continual-learning open-source common-crawl sequential-training performance-analysis 6b-parameter

摘要

Kyutai Labs 训练60亿参数模型，使用按时间顺序从2018年到2025年排列的Common Crawl数据，表明近期年份上的性能下降消失，并开源检查点以供持续学习研究。

我们训练60亿参数模型，基于Common Crawl数据按时间顺序从2018年到2025年排序，使得最新数据最后被模型看到，并展示了在更近年份上的性能下降消失。我们开源这些检查点，用于未来持续学习的研究。https://t.co/8fFwpUesIz

查看原文

查看缓存全文

缓存时间: 2026/05/27 07:03

我们训练了6B参数模型，使用按2018至2025年时间顺序排列的Common Crawl数据，确保最新数据最后被模型看到，并表明模型在较新年份上的性能下降已消失。

我们开放了这些检查点的源代码，以供未来在持续学习领域的研究使用。https://t.co/8fFwpUesIz

相似文章

X AI KOLs Following

Kyutai Labs 证明，大语言模型在回答时间敏感问题（即使在知识截止日期内）时准确性会下降，并推出了 KairosQA 数据集。他们通过按时间排序训练数据，训练出了避免此问题的模型。

X AI KOLs Timeline

Yu Su 的团队在有限的学术预算下训练了一个前沿的 Deep Research Agent，使用 8K 合成样本和强化学习，并发布了完全开放的训练基础设施和从 2B 到 35B 参数的模型。

X AI KOLs Timeline

OpenSeeker 完全开源了基于 ReAct 框架的 30B 规模搜索智能体的训练数据与模型，在多个基准测试（包括 BrowseComp 和 Humanity's Last Exam）上达到了最先进的性能。这是首个在前沿搜索基准上达到顶尖水平并同时公开完整训练数据的纯学术项目。

Reddit r/artificial

来自Apodex家族的一个40亿参数开放模型在网页研究基准上优于300亿参数模型，这归因于精心构建的训练数据和自我验证技术，而非原始规模，表明AI能力发展趋向更民主化。

X AI KOLs Timeline

Firecrawl发布了针对AI/ML论文的顶级研究索引，声称在arXivQA上召回率比竞争对手高出18%，专为自主研究代理设计。