Kimi K3: 开放前沿智能

# Kimi K3 技术博客：开放前沿智能 来源：https://www.kimi.com/blog/kimi-k3 今天，我们正式发布 Kimi K3——这是我们迄今为止能力最强的模型。Kimi K3 是一个 2.8T 参数的模型，基于我们的 Kimi Delta Attention 和 Attention Residuals 构建，具备原生视觉能力和 100 万 token 的上下文窗口。它是世界上首个开源的 3T 级模型，专为长时编程、知识工作和推理等前沿智能任务而设计。 尽管其整体性能仍落后于最强的专有模型——Claude Fable 5 和 GPT 5.6 Sol，但 Kimi K3 在我们的评估套件中展现了前沿级性能，持续优于其他被测模型。 Kimi K3 现已登陆 Kimi.com (https://www.kimi.com/)、Kimi Work (https://www.kimi.com/products/kimi-work)、Kimi Code (https://www.kimi.com/code) 以及 Kimi API (https://platform.kimi.ai/)。发布之初，Kimi K3 将默认使用最大推理投入模式，低投入和高投入模式将在后续更新中引入。我们目前正与推理合作伙伴及开源维护者紧密合作，对齐技术细节，确保在整个生态系统中实现可靠的部署。完整模型权重将于 2026 年 7 月 27 日发布。更多关于架构、训练和评估的细节将与 Kimi K3 技术报告一同发布。 ## 一个开源的 3T 级模型 Kimi K3 是第一个达到 2.8 万亿参数的开源模型。它标志着 Kimi 在扩展前沿持续推进的最新一步：在过去十二个月中的九个月里，Kimi 模型一直设定着开源模型规模的上限。 Kimi K3 基于 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 构建，这两项架构更新旨在改善信息在序列长度和模型深度上的流动。我们还扩展了混合专家 (MoE) 的稀疏性，在与 Stable LatentMoE 框架配合使用时，有效激活了 896 个专家中的 16 个。结合改进的训练和数据配方，这些结构变化使得整体扩展效率相比 Kimi K2 提升了约 2.5 倍，使模型能够更有效地将算力转化为智能。 αwKDAαwStable LatentMoEαwGated MLAαwStable LatentMoEwα3×1×Blockn−1Blockn−2Blockn−3EmbeddingRouterLinear12123NNormLinearShared ExpertRouted ExpertLinearConvL2LinearConvL2LinearConvσσLinearσKimi Delta AttentionNormLinearOutput ## 编程 Kimi K3 在长时编程方面表现出色。在极少人工监督的情况下，它能够维持长时间的工程会话，浏览大型代码仓库，并编排终端工具。 Kimi K3 还在融合软件工程与视觉推理的任务中表现卓越——它利用截图和视觉信息来优化游戏开发、前端和 CAD。 以下案例展示了 Kimi K3 的编程能力如何转化为开放式软件创作和科学研究。 ### 内核优化 我们测试了模型优化 GPU 内核的能力。每个模型在相同的沙盒中独立工作，有最多 24 小时的时间来对跨越 AttnRes、KDA 以及一个 512 头维度的 MLA 内核的四个任务进行性能分析、重写和基准测试，硬件平台为 NVIDIA H200 和另一家供应商的 GPGPU。Kimi K3 的表现与 Fable 5（含回退）不相上下，并大幅优于 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5。 Claude Fable 5 由第三方评估，其结果可能包含回退行为。在大多数模型的结果中，部分轨迹包含了微小但可接受的精度简化，这些简化仍在我们的数值容差范围内。GPGPU 指用于图形渲染之外的通用计算 GPU。 在 Kimi K3 开发的后期阶段，一个早期版本的 Kimi K3 承担了团队大部分的内核优化工作。 ### GPU 编译器开发 我们进一步测试了 Kimi K3 能否从零开始构建一个 GPU 编程系统。Kimi K3 开发了 MiniTriton，一个紧凑的类 Triton 编译器，拥有自己的基于 MLIR 的 tile 级 IR 层、优化流程以及 PTX 代码生成管道。在支持的 roofline 基准测试中，MiniTriton 的性能与 Triton 和 torch.compile 相当或更优——在某些负载上甚至超过了 Triton。除了微基准测试，MiniTriton 还能够维持端到端的 nanoGPT 训练并实现稳定的收敛，损失曲线与参考曲线紧密吻合，仅存在微小偏差——这验证了整个管道在实际负载上的可行性。这些结果表明，Kimi K3 能够构建一个连贯的端到端编译器——从 DSL 前端、IR 优化流程到 PTX 代码生成和运行时——而不仅仅是孤立的 kernel；其从零开始的 Tensor Core 路径已经能与 Triton 经过广泛优化的堆栈相抗衡。 MiniTriton CUDA-core roofline on NVIDIA L20 ### 游戏开发与数字创作 Kimi K3 结合了强大的 3D 推理、编程和视觉能力，能够将概念、图像和视频转化为完全可玩的交互式体验。Kimi K3 通过在代码和实时截图之间无缝迭代，实现了真正的“视觉在环”——即时查看并优化输出。 ### 案例 1：3D 开放世界 (https://horseback-open-world.ok.kimi.link/) Kimi K3 使用 Three.js WebGPU 和 GPU 计算构建了一个完全程序化的浏览器端 3D 探索游戏。它程序化地生成了环境，同时使用 3D 资产生成工具创建了骑手和马匹模型，打造了一个包含森林、木屋村庄、雪山和动态天气的广阔开放世界。使用的外部资产：动画牛仔和马匹模型，以及地形数据。 ### 芯片设计 作为一个早期概念验证，Kimi K3 设计了一款芯片，用于运行一个基于其自身架构构建的纳米模型。在单次 48 小时的自主运行中，K3 使用开源 EDA 工具在 Nangate 45nm 工艺库上构建、优化并验证了该芯片。在 4 平方毫米的芯片面积内，时序收敛于 100 MHz，仿真下解码吞吐量持续超过 8,700 tokens/s，集成了 146 万个标准单元、0.277 MB 的 SRAM 和一个带有融合反量化的 INT4 MAC 阵列。一个由模型为模型构建的芯片，反映了 K3 的长时自主代理能力。 ### 编程用于研究 Kimi K3 能够连接科学文献与可执行代码，自主实现、验证并分析复杂的计算研究工作流程。 在一个案例中，Kimi K3 在约两小时内完成了通常需要经验丰富的研究人员一至两周的工作。为了复现计算天体物理学中的 I–Love–Q 普适关系，它审阅并交叉验证了 20 多篇论文，实现了完整的数值计算管道，评估了 300 多个状态方程，识别了已发表公式中的不一致之处，生成了 3000 多行 Python 代码，并制作了一个交互式 HTML 仪表盘用于探索结果。 ## 知识工作 Kimi K3 推动了端到端的知识工作进步。除了公开基准测试，Kimi K3 (最大投入) 在我们的内部评估中持续展现出提升。这些内部评估基于在真实用户代理工作流程中反复出现的模式和挑战。在不同生产导向的工作流中体现出的这些一致优势，反映了 Kimi K3 代理知识工作能力的广泛提升。 内部知识工作基准 ### 研究与交互式可视化 以下是一些示例，展示了 Kimi K3 在 Kimi Work 中可以在金融咨询和科学研究领域产出的成果： ### 案例 1：交互式 42 年 AI ASIC 行业研究网站 一个你可以深入探索的交互式研究报告：42 年的 ASIC 行业，通过 120 多轮递归自我改进创建。Kimi K3 将证据转化为定制图表、动画图表和交互式视觉叙事。它通过 2.8k+ 次网络搜索/获取和 1.1k+ 次终端数据拉取，跨越 87 份季度报告和 99 份原始 PDF 的 11k+ 页文档中提取了数据。 ### 案例 2：核聚变行业研究 一份带有交互式可视化的咨询风格行业报告——包括时间线、漏斗图、范围条形图、甘特图和适合发表的幻灯片。 ### 案例 3：GWTC-5 引力波分析 对 391 个引力波事件的分析，使用了 20 多个并发子代理，生成了 7 张科学可视化图、2 个表格，以及来自 10 多篇论文的文献综合。 Kimi K3 在制作信息图风格演示文稿方面也特别有效，例如下方展示的完全可编辑热力图和年度报告： ### 小组件和仪表盘 在 Kimi Work 中，我们引入了两个新功能——小组件 (Widgets) 和仪表盘 (Dashboard)——它们使与 Kimi K3 的交互更加可视化和持久化。小组件允许你直接在聊天中生成交互式组件，并可连接到本地数据或外部插件以实现持续更新。仪表盘将你最关心的小组件整合到一个围绕某个主题、项目或目标组织的个性化持久视图中。 ### 视频编辑 Kimi K3 在动态设计、动画制作和视频编辑方面表现出色，因为其原生多模态架构能够在同一模型中理解文本、图像和视频。 在一个示例中，K3 制作了一个 3Blue1Brown 风格的运动图形讲解视频，解释其自身的架构，将技术概念转化为动画图表和转场。 在另一个示例中，Kimi K3 从 56 个源剪辑中编辑了自己的预告视频，处理了剪辑选择、运动匹配剪辑、帧精确节奏同步、音频处理以及多轮修改。像这样高密度的短视频通常需要经验丰富的编辑一至两个工作日，或初学者三至五天。 ## 架构与基础设施 Kimi K3 基于 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 构建。KDA 为扩展注意力提供了高效的基础，而 AttnRes 则选择性地跨深度检索表示，而非均匀地累积它们。两者共同构成了一个旨在远超万亿参数规模的模型架构支柱。 Kimi K3 使用 Stable LatentMoE，有效激活了 896 个专家中的 16 个。在这种稀疏度下，路由和优化成为首要挑战。Quantile Balancing 直接从路由器得分分位数中推导专家分配，消除了启发式更新和敏感的平衡超参数；而 Per-Head Muon 则扩展了 Muon，通过独立优化注意力头来实现更大规模下更具适应性的学习。Sigmoid Tanh Unit (SiTU) 和 Gated MLA 分别改进了激活控制和注意力选择性。这些进步共同使得在 2.8 万亿参数规模下实现稳定高效的训练成为可能。 Kimi K3 从 SFT 阶段开始应用量化感知训练，使用 MXFP4 权重和 MXFP8 激活，以实现广泛的硬件兼容性。为了防止专家不平衡在大型专家并行规模下降低吞吐量，我们引入了一种完全平衡的专家并行训练方法，该方法具有静态形状且在关键路径上无需主机同步。由于推理效率同样受益于更大的高带宽通信域，我们建议在包含 64 个或更多加速器的超节点配置上部署 Kimi K3。最后，由于 KDA 对传统的 prefix caching 提出了新的挑战，我们已向 vLLM 社区贡献了相应的实现，将与模型一同发布。结合带有预填充缓存的 KDA，我们能够以极具竞争力的 token 价格提供 Kimi K3 服务，尽管其规模庞大且上下文很长。 更多技术细节将在我们即将发布的报告中提供。 ## 可用性 - **Kimi K3 代理:** 从您的移动应用商店下载或更新到最新的 Kimi 应用，适用于 iOS、Android 和 HarmonyOS，或访问 kimi.com (https://www.kimi.com/)。 - **使用 Kimi K3 工作:** 下载最新的 Kimi Work 桌面应用 (https://www.kimi.com/products/kimi-work)，版本 3.1.0 或更高，适用于 Windows 和 Apple Silicon Mac。 - **使用 Kimi K3 编程:** 在您的终端中运行 Kimi Code (https://www.kimi.com/code)，并使用 `/model` 命令选择 Kimi K3。 - **使用 Kimi API 构建:** 访问 Kimi API 平台 (https://platform.kimi.ai/) 并选择 `kimi-k3`。定价为：缓存命中输入 $0.30/MTok，缓存未命中输入 $3.00/MTok，输出 $15.00/MTok。依托 Mooncake 的解耦推理架构，官方 Kimi API 在编程工作负载中的缓存命中率超过 90%。 - **将 Kimi 带入您的组织:** Kimi Enterprise (https://www.kimi.com/membership/pricing) 提供企业级数据隐私和成员管理，个人账户与组织账户完全分离。访问定价页面并选择 "Get Kimi Enterprise" 为您的团队订阅。 ### 完整基准测试表 | 基准测试 | Kimi K3 (最大) | Claude Fable 5 (最大, 含回退) | GPT 5.6 Sol (最大) | Claude Opus 4.8 (最大) | GPT 5.5 (xhigh) | GLM-5.2 (最大) | |---|---|---|---|---|---|---| | **编程** | | | | | | | | DeepSWE | 67.5 | 70.0 | 73.0 | 59.0 | 67.0 | 46.2 | | Program Bench | 77.8 | 76.8 | 77.6 | 71.9 | 70.8 | 63.7 | | Terminal Bench 2.1 | 88.3 | 84.6 | 88.8 | 84.6 | 83.4 | 82.7 | | FrontierSWE | 81.2 | 86.6 | 71.3 | 66.7 | 64.9 | 67.3 | | SWE Marathon | 42.0 | 35.0 | 39.0 | 40.0 | 14.0 | 13.0 | | PostTrain Bench | 36.6 | 41.4 | 34.6 | 34.1 | 28.4 | 34.3 | | MLS Bench | 48.3 | 49.9 | 46.2 | 42.8 | 35.5 | 40.4 | | Kimi Code Bench 2.0 (内部) | 72.9 | 76.9 | 64.8 | 71.7 | 69.0 | 64.2 | | **代理** | | | | | | | | GDPval-AA v2 (Elo 评分) | 1668.0 | 1760.0 | 1748.0 | 1600.0 | 1494.0 | 1514.0 | | BrowseComp | 91.2 | 88.0 | 90.4 | 84.3 | 84.4 | — | | DeepSearchQA (f1 分数) | 95.0 | 94.2 | — | 93.1 | — | — | | Toolathlon-Verified | 73.2 | 77.9 | 74.9 | 76.2 | 73.5 | 59.9 | | MCP Atlas | 84.2 | 84.7 | 83.6 | 83.6 | 82.8 | 82.6 | | Automation Bench | 30.8 | 29.1 | 29.7 | 27.2 | 22.7 | 12.9 | | Job Bench | 52.9 | 57.4 | 46.5 | 48.4 | 38.3 | 43.4 | | AA-Briefcase (Elo 评分) | 1548.0 | 1583.0 | 1495.0 | 1354.0 | 1158.0 | 1260.0 | | APEX-Agents | 37.6 | 43.3 | 39.9 | 39.4 | 38.5 | 35.6 | | Office QA Pro | 63.3 | 69.9* | 63.2* | 63.9* | 60.9* | 41.4 | | SpreadsheetBench 2 | 34.8 | 34.7* | 32.4* | 31.6* | 29.1* | 28.1 | | DECK-Bench (内部) | 73.5 | 73.0 | 74.7 | 66.9 | 68.2 | 68.6 | | **推理与知识** | | | | | | | | GPQA-Diamond | 93.5 | 92.6 | 94.1 | 91.0 | 93.5 | 91.2 | | HLE-Full | 43.5 | 53.3 | 44.5 | 49.8* | 41.4* | — | | HLE-Full w/ tools | 56.0 | 63.0 | 58.0 | 57.9* | 52.2* | — | | **视觉** | | | | | | | | MMMU-Pro | 81.6 | 81.2 | 83.0 | 78.9 | 81.2 | — | | MMMU-Pro w/ python | 83.4 | 86.5 | 84.6 | 82.7 | 83.2 | — | | CharXiv (RQ) | 84.8 | 88.9 | 84.6 | 80.5 | 84.1 | — | | CharXiv (RQ) w/ python | 91.3 | 93.5 | 89.1 | 89.9 | 89.0 | — | | MathVision | 94.3 | 94.8 | 95.8 | 86.7 | 92.2 | — | | MathVision w/ python | 97.8 | 98.6 | 97.8 | 97.1 | 96.8 | — | | BabyVision w/ python | 85.7 | 90.5 | 88.9 | 81.2 | 83.6 | — | | ZeroBench_main (pass@5) | 23.0 | 23.0 | 17.0 | 17.0 | 22.0 | — | | ZeroBench_main w/ python (pass@5) | 41.0 | 46.0 | 35.0 | 34.0 | 41.0 | — | | WorldVQA ForceAnswer | 51.0 | 56.7 | 41.8 | 39.1 | 38.5 | — | | OmniDocBench | 91.1 | 89.8 | 85.8 | 87.9 | 89.4 | — | | PerceptionBench | 58.5 | 57.2 | 59.7 | 47.2 | 55.8 | — | 所有报告的 Kimi K3 结果均是在推理投入设置为 'max'，温度 = 1.0 且 top-p = 1.0 的条件下获得的。根据基准测试的不同，每个模型在三种代理框架（KimiCode、Claude Code 或 Codex）之一下进行评估，具体如下所示。 **编程基准测试** 1. **DeepSWE.** Kimi K3 使用 KimiCode 框架进行评估。GLM-5.2 的分数来自 GLM-5.2 发布博客 (https://z.ai/blog/glm-5.2)；其余所有分数来自官方 DeepSWE 排行榜 (https://deepswe.datacurve.ai/)，在该排行榜中，Kimi K3 在使用 mini-SWE-agent 框架时达到 67.3。 2. **Terminal-Bench 2.1.** Kimi K3 使用 KimiCode 框架进行评估。对于所有其他模型，我们报告跨框架的最佳分数：GLM-5.2 使用 Claude Code (https://z.ai/blog/glm-5.2)；Claude Opus 4.8 和 Claude Fable 5 使用 Terminus 2 (https://artificialanalysis.ai/evaluations/terminalbench-v2-1)；GPT 5.5 和 GPT 5.6 Sol 使用 Codex (https://openai.com/index/previewing-gpt-5-6-sol/)。 3. **Program Bench.** Kimi K3 使用 KimiCode 框架进行评估。GLM-5.2 分数来自 https://z.ai/blog/glm-5.2；其他所有分数来自 https://www.vals.ai/benchmarks/programbench。 4. **SWE Marathon.** Kimi K3 使用 KimiCode 框架进行评估。Claude Fable 5、GPT 5.6 Sol、Claude Opus 4.8 和 GPT 5.5 的分数来自 https://www.swe-marathon.com/；GLM-5.2 分数来自 https://z.ai/blog/glm-5.2。 5. **PostTrain Bench.** Kimi K3 使用 KimiCode 框架进行评估。所有其他模型的分数来自 https://x.com/atko/status/1909085903528431790。 6. **MLS Bench.** Kimi K3 使用 KimiCode 框架进行评估。对于其他模型，我们报道来自 https://mls-bench.github.io/ 的结果。 7. **Kimi Code Bench 2.0 (内部).** 这是我们使用专有自动化评估框架进行内部评估的基准测试。未公开发布。