open-frontier-intelligence

Kimi.ai 发布了 Kimi K3，一个拥有 2.8 万亿参数的多模态模型，支持 100 万上下文，采用了新颖的 Delta Attention 和 Attention Residuals，以及包含 MiniTriton 编译器的自优化堆栈。该模型实现了最高 6.3 倍的解码速度提升和约 25% 的训练效率提升。