标签
本文对fMRI基础模型进行了一项扩展性研究，揭示了模型性能取决于预训练数据规模、模型规模和训练时长的组合，而不仅仅是计算资源。
本文通过控制变量，对词汇型、密集向量型、图基型和智能体型RAG范式在从1,000到512,000篇文档的语料规模范围内进行了规模化比较研究。研究发现BM25在准确性与成本之间取得了最佳平衡，而图基型RAG面临高昂的构建成本，限制了其扩展性。
一项对检索增强生成范式的受控扩展研究发现，BM25词汇检索在大规模下优于智能体检索和图检索，而智能体搜索仅在小型语料库上领先。
该论文介绍了迄今为止最大的地球观测基础模型可控扩展研究，展示了预训练损失对下游性能的预测能力较差，并提供了最优计算资源分配规则。它训练了扩展的像素级模型（0.5B和1B参数），并将其蒸馏为紧凑的学生模型，这些模型优于更大的开源和专有模型。
本文介绍了超大视频推理（VBVR）数据集和基准，这是一个大规模资源，包含超过一百万个视频片段，涵盖200个推理任务，能够系统研究时空推理，并展示了早期出现的涌现泛化迹象。