Kimi-K3 技术报告 [pdf]
摘要
MoonshotAI发布了Kimi-K3,一个拥有2.8万亿参数的开源权重多模态智能体模型,具备100万token的上下文窗口,基于全新的Kimi Delta Attention和Attention Residuals架构,实现了显著的扩展性改进。
查看缓存全文
缓存时间: 2026/07/27 16:44
📰 技术博客 | 📄 完整报告
相似文章
发布 Kimi K3 模型权重和技术报告(2分钟阅读)
Kimi Moonshot 发布了 Kimi K3,这是一个 2.8 万亿参数的多模态模型,拥有 100 万 token 的上下文窗口,以及 Kimi Delta Attention 和 Attention Residuals 等架构创新。公司声称其效率显著提升,在内部基准测试中超越了 Claude Opus 4.8 和 GPT-5.5。
@thealexker: Kimi-K3 发布中未被充分重视的亮点:> 早期 K3 编写了后期开发阶段的大部分内核 > 它…
Kimi.ai 发布了 Kimi K3,一个拥有 2.8 万亿参数的多模态模型,支持 100 万上下文,采用了新颖的 Delta Attention 和 Attention Residuals,以及包含 MiniTriton 编译器的自优化堆栈。该模型实现了最高 6.3 倍的解码速度提升和约 25% 的训练效率提升。
Kimi-K3 在 HuggingFace 上发布
Moonshot AI 发布了 Kimi-K3,这是一个拥有 2.8 万亿参数的混合专家模型,支持 100 万 tokens 的上下文窗口。该模型已在 HuggingFace 上以具有商业限制的宽松许可证提供。
Kimi K3: 开放前沿智能
Kimi 推出 Kimi K3,一个拥有 2.8 万亿参数的开放模型,具备原生视觉和 100 万上下文能力,基于 Kimi Delta Attention 和 Attention Residuals 构建。它在编码与推理方面达到前沿性能水平,完整权重将于 2026 年 7 月前发布。
@seclink: 官方页面地址: https://huggingface.co/moonshotai/Kimi-K3… 这是 Moonshot AI(月之暗面)发布的 2.8 万亿参数(MoE 架构,激活约 104B)开源权重模型,支持原生多模态(文本+图…
Moonshot AI releases Kimi K3, a 2.8 trillion parameter open-weight MoE model with native multimodal capabilities and a 1 million token context window, claiming it as the world's first open 3T-class model.