标签
Accelerated Understanding 正在构建模拟和理解4D物理学的AI模型，以加速发明和发现，提供传统实验所缺乏的方向性反馈。
Anima Anandkumar宣布启动初创公司Accelerated Understanding，该公司正在训练大规模AI模型以模拟和理解4D物理，旨在通过将上下文长度推至万亿级来加速发明和发现。
本文提出了一种计算高效的两步超参数迁移框架，用于预测大型 Mixture-of-Experts 模型的最优学习率，从而无需昂贵的超参数搜索即可实现高效预训练。