aleph-alpha

Aleph Alpha 介绍了他们如何将 30B-A3B MoE 模型（被证实为 Kolibri Origin）的预训练从 16 块 NVIDIA B200 GPU 扩展到 512 块，采用分层超参数搜索方法，实现了 35.3% 的 MFU，接近线性扩展——仅比理想情况低 6%，训练基于 InfiniBand/NVLink 网络，使用自定义的 torchtitan 分支。

Aleph Alpha 的 Kolibri 78B 模型现已可以通过 Tesseracted 托管的聊天界面免费在线试用，该消息由 r/euainews 社区分享。

Aleph Alpha 发布了 Kolibri 的技术报告 PDF，介绍该模型的架构、训练方法与评估结果。

Aleph Alpha 发布了 Kolibri，这是一个开放权重的德国/英语主权 Mixture-of-Experts 大语言模型，总参数量为 78B（每个 token 激活约 3.5B），在德国和芬兰的基础设施上从零开始训练，采用 Apache 2.0 协议，权重已在 Hugging Face 上发布，原生上下文长度达 262k token。

Aleph Alpha 介绍了其模型工厂 Savanna，该工厂将整个训练流程转化为代码，实现了封闭式的一键训练运行和更好的团队协作。