@eliebakouch: Kimi K3（总参数2.8万亿）是一个开源权重模型，与fable和gpt 5.6 sol竞争，同时价格便宜得多，……

X AI KOLs Timeline 模型
open-weight large-language-model kimi-k3 2.8t-parameters linear-attention mixture-of-experts ai-innovation

摘要

Kimi K3 是一个开源权重的2.8万亿参数大语言模型，采用了线性注意力、潜在MoE和新激活函数等创新，以更低成本提供有竞争力的性能。

Kimi K3（总参数2.8万亿）是一个开源权重模型，与fable和gpt 5.6 sol竞争，同时价格便宜得多，这太疯狂了 我觉得我们还没有意识到，扩展到如此参数量并发布一个如此出色的模型有多么令人印象深刻。他们相比之前的模型规模扩大了两倍多，同时保留了线性注意力（KDA）、分位数负载均衡、注意力残差等研究赌注…… 该架构使用了（稳定的？）来自NVIDIA的潜在MoE，从896个专家中激活16个（与DSv4具有相同的专家稀疏度），每头muon（类似GLM 5），名为"Sigmoid Tanh Unit (SiTU)"的新激活函数，以及由大神@Jianlin_S提出的QB负载均衡 期待看到技术报告（他们提到会发布一份），更多的测试时计算曲线，并在自己的研究任务上进行测试，但总的来说，这看起来非常好，而且这仅仅是个开始 K2.5到K2.7之间的差距令人印象深刻，K3到K3.2很可能也会如此！！
查看原文
查看缓存全文

缓存时间: 2026/07/17 00:24

Kimi K3（总参数量2.8T）是一款开源权重模型，与fable和gpt 5.6 sol竞争，但价格低得多，简直不可思议。

我觉得我们还没意识到，扩展到这样的参数量并发布一款如此惊艳的模型有多厉害。他们从上代模型扩展了超过2倍，同时保留了诸如线性注意力（KDA）、分位数负载均衡、注意力残差等研究前沿的架构设计。

该架构采用了（稳定的？）来自NVIDIA的潜在MoE，拥有896个专家中的16个（专家稀疏度与DSv4相同），每个头使用muon优化器（类似GLM 5），新的激活函数“Sigmoid Tanh Unit (SiTU)”，以及由大神@Jianlin_S提出的QB负载均衡。

期待技术报告（他们提到会发布一份）和更多测试时计算曲线，并在自己的研究任务中进行测试。不过总体来看，这真的不错，而且这仅仅是开始。

K2.5到K2.7的进步令人印象深刻，K3到K3.2很可能也会如此！

Kimi.ai (@Kimi_Moonshot): 推出Kimi K3：开放前沿智能

🔹 2.8万亿参数，100万上下文，原生多模态 🔹 Kimi Delta注意力机制在百万token上下文中实现高达6.3倍的解码加速 🔹 注意力残差带来约25%的训练效率提升，额外开销不足2%

相似文章

Kimi K3，以及我们还能从pelican基准测试中学到什么

Simon Willison's Blog

中国AI实验室Moonshot AI发布了Kimi K3，一个2.8万亿参数的开源权重模型，声称这是首个开源的3T级模型，并在多个基准测试中击败了多个领先模型。文章还讨论了该模型的定价以及一个有趣的pelican SVG基准测试。