标签
一位用户在 Apple M5 Air 上测试了 Qwen3.8-Next 模型,采用 3 位量化,实现了预填充 150 令牌/秒和解码 3.6 令牌/秒,在某些指标上超过了密集 270 亿参数模型。
一位用户分享了在32GB M5 MacBook Air上运行4比特量化DeepSeek v4 Flash的实验,通过流式专家等技巧实现了约50 tokens/s的prefill和1 tokens/s的decode。
Gabriel 发推说 MacBook Neo 比 M2 Pro Max 快 30%,而且 M5 Air 感觉比他满配的 M2 Pro Max 快 4 倍。