chinchilla

本文介绍了Chimera，一种具有原则性缩放方案的混合视觉扩散骨干网络，结合了Kimi Delta Attention、多头潜在注意力和稀疏混合专家，以高效处理长上下文图像和视频生成。它还提出了HeteroP，一种模块级超参数迁移方案，以及Chinchilla式缩放定律，用于训练一个具有20亿激活参数的110亿参数模型。