training-techniques

本研究系统评估了用于流体动力学的物理信息神经网络技术，表明将周期性激活与因果加权相结合可提高Navier-Stokes涡脱落基准测试的性能，而进一步添加则因非线性交互作用而导致性能下降。

探讨了非常小的语言模型是否能妥善处理日常对话，以及哪些训练因素使它们表现更佳。

OpenAI 展示了改进的一致性模型训练技术，无需蒸馏即可实现高质量单步图像生成，通过新型损失函数和训练策略在 CIFAR-10 和 ImageNet 64×64 上取得显著的 FID 改进。

OpenAI 展示了在分布式 GPU 集群上训练大规模神经网络的全面技术，涵盖数据并行、管道并行、张量并行和专家混合等方法，以克服工程和可扩展性挑战。