model-streaming

Janas 是一个开源工具，通过从 SSD 流式加载专家模型（mixture-of-experts），让内存小于模型体积的笔记本也能运行 LLM。在 32GB 内存的笔记本上，Qwen3-Next-80B（48GB）推理速度达 37 tok/s，显著超越 llama.cpp 的 2.8 tok/s。

slotstream is an open-source tool that enables running large AI models like Qwen3.8-Flash-Next on Macs with limited memory by streaming model weights from SSD, achieving approximately 12 tokens per second on a 48GB Mac.