Kimi K3: 开放前沿智能

Hugging Face Daily Papers 论文
open-source mixture-of-experts large-language-model vision long-context reinforcement-learning frontier-intelligence

摘要

Kimi K3 是一个2.8万亿参数的混合专家模型，具有1040亿活跃参数、原生视觉能力和100万token的上下文窗口，在多个领域达到前沿性能，并以开放权重形式发布。

我们推出 Kimi K3，一个2.8万亿参数的混合专家模型，具有1040亿活跃参数、原生视觉能力和100万token的上下文窗口。Kimi K3 基于 Kimi Delta Attention 和 Attention Residuals 构建，这些技术改善了跨序列长度和模型深度的信息流动。结合 Stable LatentMoE（每个 token 有效激活 896 个路由专家中的 16 个）以及优化的训练和数据策略，这些进步使整体扩展效率相比 Kimi K2 提高了约 2.5 倍。训练后阶段重点包括在通用、智能体（agentic）和编程领域以及多种推理努力级别上进行强化学习，实现了组合泛化和稳健的长周期执行。在2.8T规模下，Kimi K3 得到了多个领域的基础设施进步支持：针对 KDA 的算法-系统协同设计、完美平衡的专家并行训练与高效内存管理、具有持久 rollout 和沙箱状态的百万 token 智能体强化学习，以及部署创新。广泛评估表明，Kimi K3 在长周期编程、智能体、知识、推理和视觉任务上实现了前沿性能。尽管其整体性能仍落后于最强大的专有模型，即 Claude Fable 5 和 GPT-5.6 Sol，但 Kimi K3 在我们的评估套件中始终优于其他开放和专有模型。我们发布完整的 Kimi K3 模型权重，以促进未来研究并加速前沿智能的广泛部署和采用。
查看原文
查看缓存全文

缓存时间: 2026/07/28 06:33

论文页面 - Kimi K3: 开放前沿智能

来源：https://huggingface.co/papers/2607.24653
发布于 7月27日

#1 当日最佳论文 (https://huggingface.co/papers/date/2026-07-28)
作者：
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,

摘要

我们推出了 Kimi K3，一个拥有 2.8 万亿参数的混合专家模型，激活参数达 1040 亿，具备原生视觉能力，并支持 100 万 token 的上下文窗口。Kimi K3 构建于 Kimi Delta Attention 和 Attention Residuals 之上，这两项技术改善了序列长度和模型深度上的信息流动。配合 Stable Latent MoE（每 token 高效激活 896 个路由专家中的 16 个）以及经过优化的训练与数据配方，这些进步使整体扩展效率相比 Kimi K2 提升了约 2.5 倍。后训练阶段重点采用了跨通用、智能体与编程领域的强化学习，并设置了多种推理努力级别，从而实现了组合泛化与稳健的长程执行能力。在 2.8T 规模下，Kimi K3 在多个方面得到了基础设施进步的支撑：针对 KDA 的算法-系统协同设计、完美均衡的专家并行训练与高效内存管理、百万 token 智能体强化学习（含持续 rollout 与沙盒状态），以及部署创新。大量评估表明，Kimi K3 在长程编程、智能体任务、知识、推理及视觉任务上均达到前沿水平。尽管其整体性能仍落后于最强大的专有模型（即 Claude Fable 5 和 GPT-5.6 Sol），但在我们评测套件中，Kimi K3 持续优于其他开放及专有模型。我们发布完整的 Kimi K3 模型权重，以促进未来研究并加速前沿智能的更广泛部署与采用。

查看 arXiv 页面 (https://arxiv.org/abs/2607.24653) | 查看 PDF (https://arxiv.org/pdf/2607.24653) | 项目页面 (https://www.kimi.com/blog/kimi-k3) | 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.24653)

引用本论文的模型：0

暂无模型关联本论文

请在模型 README.md 中引用 arxiv.org/abs/2607.24653 以在本页面建立链接。

引用本论文的数据集：0

暂无数据集关联本论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.24653 以在本页面建立链接。

引用本论文的 Spaces：0

暂无 Space 关联本论文

请在 Space README.md 中引用 arxiv.org/abs/2607.24653 以在本页面建立链接。

包含本论文的收藏：2

相似文章

Kimi K3: 开放前沿智能

Reddit r/LocalLLaMA

Kimi 推出 Kimi K3，一个拥有 2.8 万亿参数的开放模型，具备原生视觉和 100 万上下文能力，基于 Kimi Delta Attention 和 Attention Residuals 构建。它在编码与推理方面达到前沿性能水平，完整权重将于 2026 年 7 月前发布。

Kimi-K3 在 HuggingFace 上发布

Reddit r/artificial

Moonshot AI 发布了 Kimi-K3，这是一个拥有 2.8 万亿参数的混合专家模型，支持 100 万 tokens 的上下文窗口。该模型已在 HuggingFace 上以具有商业限制的宽松许可证提供。

reteetzad/Kimi-K3

Hugging Face Models Trending

Kimi K3 是 Moonshot AI 即将推出的开放前沿模型，采用混合专家架构，具备原生智能体能力及增强型代码理解上下文，计划于 2026 年 7 月 27 日发布。

unsloth/Kimi-K3

Hugging Face Models Trending

Kimi K3 是一个开放权重的 2.8T 参数原生多模态代理模型，具有新颖的架构（KDA、AttnRes），1M 词元上下文，以及开源的 MoE 框架。

Kimi K3 架构概述与笔记

Hacker News Top

Sebastian Raschka提供了开放权重的Kimi K3模型架构概述，重点介绍了其从480亿到2.8万亿参数的扩展、新的LatentMoE和注意力残差组件、移除RoPE改用NoPE，以及原生多模态支持。该模型强调推理效率，并达到前沿性能水平。