WASTE 推理引擎(14 分钟阅读)
摘要
WASTE 是一个开源推理引擎,通过将专家权重存储在 NVMe 上,运行比主机可用内存大得多的模型。它展示了在配备 64GB 统一内存的 MacBook Pro 上运行 Kimi K3(一个 2.78T 参数的 MoE 模型)的能力。
WASTE 是一个开源推理引擎,旨在运行权重远超主机可用内存的模型。这是更广泛努力的第一步,旨在让越来越强大的模型能够在更多硬件上运行。该项目旨在为个人和组织提供对基础设施成本、数据隐私、可用性和部署的更大控制。WASTE 首个完全支持的模型是 Kimi K3,它可以在配备 64GB 统一内存的 MacBook Pro 上运行。
查看缓存全文
缓存时间: 2026/07/31 18:27
# WASTE 推理引擎
来源:https://marcobambini.substack.com/p/the-waste-inference-engine
今天我们发布了 WASTE(https://github.com/sqliteai/waste),这是一个开源推理引擎,专为运行权重远大于宿主机可用内存的模型而设计。
WASTE 完全支持的首个模型是 Kimi K3,一个 2.78 万亿参数的混合专家模型。我们将原本 1.42 TB 的检查点转换为 982 GB 的容器,并在配备 64 GB 统一内存的 MacBook Pro 上运行了完整模型。**这不是蒸馏、剪枝或精简后的变体**。
目前一次典型执行如下所示:
``
$ waste run ~/models/k3.waste "What is the capital of Italy?"
waste: no --budget, using 46.24 GB of 64.00 GB
(expert cache 17.56 GB)
The capital of Italy is Rome.
[16 tokens, 49.31 s, 0.32 tok/s]
``
当前性能大约为每秒 0.33 个 token,尚不适合大多数交互式应用。然而,这一结果表明,可用 RAM 并不一定要对可在本地执行的模型总大小施加硬性限制。
WASTE 是更广泛工作中的一个初步步骤,旨在让日益强大的模型可以在由使用它们的人员和组织所控制的硬件上运行。
其目标是提供对基础设施成本、数据隐私、可用性和部署的更大控制权。
Kimi K3 是一个混合专家模型。尽管它包含 896 个路由专家,但对给定 token,每一层只选择 16 个专家。
因此,在计算的任何特定时刻,大多数模型权重都是非活跃的。
WASTE 利用这一特性,将模型分为两个主要部分。
模型主干常驻内存。专家权重保留在 NVMe 存储上,在被
相似文章
使用29 GB内存以0.50 tok/s运行Kimi K3
WASTE是一个新的开源C语言推理引擎,它从磁盘流式加载专家权重,在仅29 GB内存的消费级笔记本电脑上运行拥有2.78万亿参数的Kimi K3模型,实现了0.49–0.54 tokens/s的速度。
@tom_doerr: 在 16GB 内存 Mac 上运行 35B 模型 https://github.com/walter-grace/mac-code…
该工具支持通过从 SSD 流式加载模型权重,在 16GB Mac 上运行 Qwen3.5-35B 等大型语言模型,经优化配置后最高可达 30 tok/s。
在 C 语言中、于 CPU 上运行 Kimi K3(c99 和 cpu)
一个项目声称可以通过从 NVMe SSD 流式加载专家权重并使用 MXFP4 压缩,在仅有 8GB 内存的 CPU 上运行拥有 2.78T 参数的 MoE 模型 Kimi K3,以速度换取内存效率。
稀疏设计(5分钟阅读)
Moonshot的Kimi K3是一个2.8万亿参数的开源权重模型,拥有896个专家(每个token激活16个),体现了在保持活跃计算不变的情况下扩大总参数的趋势,并使用注意力压缩来减少KV缓存大小,使得前沿推理更容易实现,但存储成本较高。
180B 参数,32GB 内存:用 Transformers 将 MoE 推理推向极限
Hugging Face 博客文章,探讨如何通过直接从 SSD 流式加载专家模块,在仅 32GB 内存的机器上运行 180B 参数的 MoE 模型,并对比了 Strata、llama.cpp、vLLM 和 Transformers 的 offload 策略。