实验室训练10T参数模型使用的数据组合是什么？

所以我假设：根据不同的报道，到目前为止，实验室公开的最大模型参数为2-3T。他们目前正在内部训练或已经训练了10T参数模型。我的另一个假设是：如果模型参数增加3倍，那么数据也需要按比例增加3倍或一定幅度。但自GPT-4时代以来，我们就一直听到关于基于互联网数据的数据墙被触及的消息。那么情况如何？他们从哪里获得这么多数据？大部分是模型在推理过程中生成的推理链吗？还是来自像Mercor这样的实际人类生成的推理痕迹？有人知道确切的数据组合吗？或者到底发生了什么？看起来突然需要大量数据。