第二个 K3 的权重发布了，我正在下载完整的 FP16 并藏在床垫里

Reddit r/LocalLLaMA 模型
model-weights fp16 k3 ai-model download

摘要

一位用户发推文说正在下载第二个 K3 模型的完整 FP16 权重并储存起来，开玩笑地让其他人别锁门。

请别锁门，这样我就能轻松进入你家了。
查看原文

相似文章

稀疏设计（5分钟阅读）

TLDR AI

Moonshot的Kimi K3是一个2.8万亿参数的开源权重模型，拥有896个专家（每个token激活16个），体现了在保持活跃计算不变的情况下扩大总参数的趋势，并使用注意力压缩来减少KV缓存大小，使得前沿推理更容易实现，但存储成本较高。