@thealexker: Kimi-K3 发布中未被充分重视的亮点：> 早期 K3 编写了后期开发阶段的大部分内核 > 它…

X AI KOLs Timeline 模型
kimi-k3 trillion-parameters long-context multimodal attention-mechanism open-frontier-intelligence

摘要

Kimi.ai 发布了 Kimi K3，一个拥有 2.8 万亿参数的多模态模型，支持 100 万上下文，采用了新颖的 Delta Attention 和 Attention Residuals，以及包含 MiniTriton 编译器的自优化堆栈。该模型实现了最高 6.3 倍的解码速度提升和约 25% 的训练效率提升。

Kimi-K3 发布中未被充分重视的亮点： > 早期 K3 编写了后期开发阶段的大部分内核 > 它从零构建了一个 Triton 级别的编译器 MiniTriton，性能与 Triton 和 torch.compile 相当或更优 > 然后它在一次 48 小时的自主运行中，由模型为模型设计了一款芯片 该模型正在重写并优化其运行所在的每一层堆栈：用于自身训练的内核。用于自身内核的编译器。用于自身权重的硅片。 我们正在见证软件构建自己的硬件
查看原文
查看缓存全文

缓存时间: 2026/07/16 22:23

underrated gems in Kimi-K3 release:

一位早期的 K3 在后期开发阶段编写了大部分内核
它从零构建了一个 triton 类编译器 MiniTriton，性能可与 Triton 和 torch.compile 持平或更优
随后，它设计了一款芯片——由模型、为模型、在 48 小时自主运行中完成

该模型正在重写并优化其所运行栈的每一层：用于自身训练的内核。自身内核的编译器。自身权重的硅片。

我们正在目睹软件构建自己的硬件

Kimi.ai (@Kimi_Moonshot): 推出 Kimi K3：开放前沿智能

🔹 2.8 万亿参数，百万长度上下文，原生多模态 🔹 Kimi Delta Attention 在百万 token 上下文中实现高达 6.3 倍解码加速 🔹 Attention Residuals 以不到 2% 的额外成本带来约 25% 的训练效率提升

相似文章

Kimi-K3 技术报告 [pdf]

Hacker News Top

MoonshotAI发布了Kimi-K3，一个拥有2.8万亿参数的开源权重多模态智能体模型，具备100万token的上下文窗口，基于全新的Kimi Delta Attention和Attention Residuals架构，实现了显著的扩展性改进。

Kimi K3: 开放前沿智能

Reddit r/LocalLLaMA

Kimi 推出 Kimi K3，一个拥有 2.8 万亿参数的开放模型，具备原生视觉和 100 万上下文能力，基于 Kimi Delta Attention 和 Attention Residuals 构建。它在编码与推理方面达到前沿性能水平，完整权重将于 2026 年 7 月前发布。

发布 Kimi K3 模型权重和技术报告（2分钟阅读）

TLDR AI

Kimi Moonshot 发布了 Kimi K3，这是一个 2.8 万亿参数的多模态模型，拥有 100 万 token 的上下文窗口，以及 Kimi Delta Attention 和 Attention Residuals 等架构创新。公司声称其效率显著提升，在内部基准测试中超越了 Claude Opus 4.8 和 GPT-5.5。

Kimi K3 架构概述与笔记

Hacker News Top

Sebastian Raschka提供了开放权重的Kimi K3模型架构概述，重点介绍了其从480亿到2.8万亿参数的扩展、新的LatentMoE和注意力残差组件、移除RoPE改用NoPE，以及原生多模态支持。该模型强调推理效率，并达到前沿性能水平。