标签
IQuest Q1 是来自 IQuest_research 的新代码模型，具有 320B/15B 参数、自定义许可证、512K 上下文和用于高效长上下文处理的混合注意力机制。
本文讨论了利用Hugging Face上的开放训练数据来训练Marin’s 535B模型的过程，涉及来自152个数据集的25万亿token，并具有允许训练的许可证。
Accelerated Understanding 正在构建模拟和理解4D物理学的AI模型，以加速发明和发现，提供传统实验所缺乏的方向性反馈。
Anima Anandkumar宣布启动初创公司Accelerated Understanding，该公司正在训练大规模AI模型以模拟和理解4D物理，旨在通过将上下文长度推至万亿级来加速发明和发现。
本文提出了一种计算高效的两步超参数迁移框架，用于预测大型 Mixture-of-Experts 模型的最优学习率，从而无需昂贵的超参数搜索即可实现高效预训练。