发布 Kimi K3 模型权重和技术报告（2分钟阅读）

# @Kimi_Moonshot 的推文串（Thread Reader App） 来源：https://threadreaderapp.com/thread/2081760186235289764.html ## 更多来自 @Kimi\_Moonshot Kimi.ai 头像 (https://threadreaderapp.com/user/Kimi_Moonshot) 7月16日 介绍 Kimi K3：开放前沿智能 🔹 2.8万亿参数，100万上下文，原生多模态 🔹 Kimi Delta Attention 可在百万 token 上下文中实现高达 6.3 倍的解码加速 🔹 Attention Residuals 在增加不到 2% 成本的情况下，带来约 25% 的训练效率提升 🔹 专为长周期智能体编码和自演进工作流构建 Kimi K3 现已在 onKimi.com (http://kimi.com/)、Kimi Work、Kimi Code 和 Kimi API 上线。开源权重将于 2026 年 7 月 27 日发布。 🔗 API：platform.kimi.ai (http://platform.kimi.ai/) 🔗 技术博客：kimi.com/blog/kimi-k3 (http://kimi.com/blog/kimi-k3)图片 (https://pbs.twimg.com/media/HNXu0kobMAAPljb.png) 图片 (https://pbs.twimg.com/media/HNXu2GWaYAAwH4w.png) K3 基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）构建，这两项架构更新旨在改善信息在序列长度和模型深度之间的流动。 我们还扩展了混合专家（MoE）的稀疏性，结合 Stable LatentMoE 框架，实际激活了 896 个专家中的 16 个。 与优化后的训练和数据配方相结合，这些结构性变化使得整体缩放效率相比 K2 提升约 2.5 倍，使模型能够更有效地将算力转化为智能。图片 (https://pbs.twimg.com/media/HNXu7q4akAABQAM.jpg) 内部知识工作基准 除了公开基准，Kimi K3 Max 在我们内部基准上也表现出一致的提升。这些内部基准基于真实用户-智能体工作流中的常见模式和挑战构建。 它在 Online Exp Bench 上获得 75.5 分，在 DECK-Bench 上获得 73.5 分，在 Finance-Bench 上获得 62.6 分，三项成绩均优于 Claude Opus 4.8 (max) 和 GPT-5.5 (xhigh)。 这些结果反映了 Kimi K3 在智能体知识工作能力上的全面提升，使其在实际用例中表现更强大、更可靠。图片 (https://pbs.twimg.com/media/HNXvBPrbgAABDsU.jpg) 查看 6 条推文 Kimi.ai 头像 (https://threadreaderapp.com/user/Kimi_Moonshot) 5月14日 认识 Kimi Web Bridge — Kimi 的浏览器扩展。 智能体现在可以像人类一样与网站互动：搜索、滚动、点击、输入并完成任务。 支持 Kimi Code CLI、Claude Code、Cursor、Codex、Hermes 等。 现已上线，可在 Chrome 网上商店获取。kimi.com/features/webbr... (http://kimi.com/features/webbridge) 视频海报 跨多个平台大规模搜索，并将结果自动填入你的电子表格。视频海报 凭借 K2.6 的多模态能力，你的智能体将打开一个网站，浏览导航并复制它。视频海报 查看 6 条推文 Kimi.ai 头像 (https://threadreaderapp.com/user/Kimi_Moonshot) 4月20日 认识 Kimi K2.6 智能体 — 视频主视觉区、WebGL 着色器、真实后端。只需一个提示。 🔹 视频主视觉区 — 电影级美学，自动合成 🔹 WebGL 着色器动画 — 原生 GLSL / WGSL，液态金属，焦散，光线步进 🔹 动态设计 — GSAP + Framer Motion 🔹 后端数据库：Kimi 一次完成认证 + 数据库 + 后端的搭建。 🔹 网站技术栈 — React 19 + TypeScript + Vite + Tailwind + shadcn/ui 🔹 3D 物理光照 — Three.js + React Three Fiber 视频海报 内置视频主视觉区。 K2.6 智能体调用视频生成 API 来为你创建真实的电影级素材，而非静态占位符。合成到页面中，与滚动同步，并带有着色器叠加。视频海报 精通 WebGL 着色器。 直接编写 GLSL / WGSL — 片段着色器、顶点着色器、噪声、SDF、光线步进。提示："具有柔和焦散的液态金属主视觉。" 视频海报 查看 7 条推文 Kimi.ai 头像 (https://threadreaderapp.com/user/Kimi_Moonshot) 3月16日 介绍 Attention Residuals：重新思考深度聚合。 残差连接长期以来依赖固定的、统一的累积方式。受时间和深度二元性的启发，我们引入了 Attention Residuals，用学习得到的、依赖于输入的注意力机制来替代标准的深度递归，关注前几层。 🔹 使网络能够有选择地检索过去的表示，自然地缓解信息稀释和隐藏状态增长问题。 🔹 引入 Block AttnRes，将层划分为压缩块，使得跨层注意力在大规模下变得可行。 🔹 作为一种高效的即插即用替代方案，在推理延迟开销极小（<2%）的情况下，展现出 1.25 倍的算力优势。 🔹 在 Kimi Linear 架构（总计 48B，激活参数 3B）上验证，带来了持续的下游性能提升。 🔗完整报告：github.com/MoonshotAI/Att... (https://github.com/MoonshotAI/Attention-Residuals/blob/master/Attention_Residuals.pdf)图片 (https://pbs.twimg.com/media/HDgCpkHb0AA0a7_.jpg) 缩放定律实验显示，在不同模型大小下均存在一致的 1.25 倍算力优势。图片 (https://pbs.twimg.com/media/HDgCt49a8AA14V_.png) 训练动态分析展示了 AttnRes 如何自然地缓解隐藏状态量级增长，并在深度上产生更均匀的梯度分布。图片 (https://pbs.twimg.com/media/HDgCxm0bUAA7KrD.jpg) 查看 4 条推文 Kimi.ai 头像 (https://threadreaderapp.com/user/Kimi_Moonshot) 2025年11月28日 认识 Kimi Agentic Slides！现在配备 Nano Banana Pro 🍌 🎁 感恩节礼物：48小时免费无限使用 🔸 智能体搜索（Kimi K2） 🔸 文件 → 幻灯片（PDF、图片、文档等） 🔸 完全可编辑 + PPTX 导出 🔸 设计师级别视觉效果（信息图、插图） 立即尝试：kimi.com/slides (https://www.kimi.com/slides) 这里有一份快速指南。👇 研究论文 → 可直接展示的演示文稿图片 (https://pbs.twimg.com/media/G61dkYva0AARFcB.jpg) 查看 5 条推文