moе

strata-mlx 更新：中断的长对话不再重读，10K token 会话的首字符输出时间从 19.7 秒降至 0.26 秒（M4 Max），并优化了 32 GB Mac 的内存管理，避免 swap。该项目是运行 Qwen3.8-Flash-Next 等 125B MoE 模型的 Apple Silicon MLX 推理引擎，吞吐量显著优于 llama.cpp 和 LM Studio。

一位 Reddit 用户用 8 张 Radeon Pro V620（256GB VRAM）和自定义 vLLM fork，让 Qwen3.8-Flash-Next 达到 60-100 t/s 解码速度和 3000+ t/s 预填充，比 llama.cpp 快约 800%。