标签
Janas 是一个开源工具，通过从 SSD 流式加载专家模型（mixture-of-experts），让内存小于模型体积的笔记本也能运行 LLM。在 32GB 内存的笔记本上，Qwen3-Next-80B（48GB）推理速度达 37 tok/s，显著超越 llama.cpp 的 2.8 tok/s。
slotstream 是一个开源工具，它通过从SSD流式传输模型权重，使得在内存有限的Mac上运行像Qwen3.8-Flash-Next这样的大型AI模型成为可能，在48GB Mac上实现了大约12 tokens每秒的速度。