标签
作者发布 Slipstream——一款针对 Apple Silicon 的 C++ Metal 推理引擎，支持原生 SSD 专家流式加载与投机草稿解码，可在 64GB Mac 上以 41–52 tok/s 运行 95.5 GiB 的 Qwen3.8-Flash-Next 模型，比 llama.cpp 快 1.76 倍，且 130k 长上下文下速度不衰减。
作者优化了 Qwen3.8-Flash-Next 模型，使其能在 64GB Mac 上运行，使用专家流式处理和其他技术，通过发布检查点和 llama.cpp 叉版本达到约 27 tok/s 的速度。
Cherenkov是一个新的Apple Silicon推理引擎，使用预测专家流和混合精度执行，实现对像Qwen3.8-Flash-Next这样的大型AI模型的高效内存受限推理。
colibri 是一个纯C语言推理工具，通过从磁盘流式传输专家模型，在约25GB RAM上运行GLM-5.2 744B MoE模型，无需昂贵的GPU。