pixel-wise

该论文介绍了迄今为止最大的地球观测基础模型可控扩展研究，展示了预训练损失对下游性能的预测能力较差，并提供了最优计算资源分配规则。它训练了扩展的像素级模型（0.5B和1B参数），并将其蒸馏为紧凑的学生模型，这些模型优于更大的开源和专有模型。