@thealexker: Kimi-K3 发布中未被充分重视的亮点：> 早期 K3 编写了后期开发阶段的大部分内核 > 它…

X AI KOLs Timeline 模型
kimi-k3 trillion-parameters long-context multimodal attention-mechanism open-frontier-intelligence

摘要

Kimi.ai 发布了 Kimi K3，一个拥有 2.8 万亿参数的多模态模型，支持 100 万上下文，采用了新颖的 Delta Attention 和 Attention Residuals，以及包含 MiniTriton 编译器的自优化堆栈。该模型实现了最高 6.3 倍的解码速度提升和约 25% 的训练效率提升。

Kimi-K3 发布中未被充分重视的亮点： > 早期 K3 编写了后期开发阶段的大部分内核 > 它从零构建了一个 Triton 级别的编译器 MiniTriton，性能与 Triton 和 torch.compile 相当或更优 > 然后它在一次 48 小时的自主运行中，由模型为模型设计了一款芯片 该模型正在重写并优化其运行所在的每一层堆栈：用于自身训练的内核。用于自身内核的编译器。用于自身权重的硅片。 我们正在见证软件构建自己的硬件
查看原文
查看缓存全文

缓存时间: 2026/07/16 22:23

underrated gems in Kimi-K3 release:

一位早期的 K3 在后期开发阶段编写了大部分内核
它从零构建了一个 triton 类编译器 MiniTriton，性能可与 Triton 和 torch.compile 持平或更优
随后，它设计了一款芯片——由模型、为模型、在 48 小时自主运行中完成

该模型正在重写并优化其所运行栈的每一层：用于自身训练的内核。自身内核的编译器。自身权重的硅片。

我们正在目睹软件构建自己的硬件

Kimi.ai (@Kimi_Moonshot): 推出 Kimi K3：开放前沿智能

🔹 2.8 万亿参数，百万长度上下文，原生多模态 🔹 Kimi Delta Attention 在百万 token 上下文中实现高达 6.3 倍解码加速 🔹 Attention Residuals 以不到 2% 的额外成本带来约 25% 的训练效率提升

相似文章

Kimi K3: 开放前沿智能

Reddit r/LocalLLaMA

Kimi 推出 Kimi K3，一个拥有 2.8 万亿参数的开放模型，具备原生视觉和 100 万上下文能力，基于 Kimi Delta Attention 和 Attention Residuals 构建。它在编码与推理方面达到前沿性能水平，完整权重将于 2026 年 7 月前发布。

Kimi K3 已在网页和App上发布

Reddit r/LocalLLaMA

Kimi K3 是一款全新AI模型，拥有2.8万亿参数和100万上下文长度，已在网页和App上发布，在编程、智能体任务、推理、视觉和智能体集群方面具备领先能力。

Kimi K3，以及我们还能从pelican基准测试中学到什么

Simon Willison's Blog

中国AI实验室Moonshot AI发布了Kimi K3，一个2.8万亿参数的开源权重模型，声称这是首个开源的3T级模型，并在多个基准测试中击败了多个领先模型。文章还讨论了该模型的定价以及一个有趣的pelican SVG基准测试。

Kimi K3 基准测试

Reddit r/singularity

Kimi K3 在最近的 AI 基准测试中取得了显著成果，展示了其能力。