@sanbuphy: K2.6 成功在 Mac 本地下载并部署了 Qwen3.5-0.8B 模型，通过使用小众 Zig 语言实现并优化模型推理，证明了新模型的泛化能力。经过 4,000 多次工具调用，超过 12 小时的不间断运行，K2.6 模型共迭代了 14 …
摘要
K2.6在Mac本地成功部署Qwen3.5-0.8B模型，使用Zig语言实现推理优化，经过14轮迭代将吞吐量从约15 tokens/s提升至约193 tokens/s，比LM Studio快20%。
相似文章
@linexjlin: K2.6 花了 12 个小时， 在 Mac 上用 zig 语言 从 0 写了一个 LLM 推理引擎并，并将 qwen 3.5 0.8B 推理速度由 15 tok/s 优化到了 193.1 tok/s
Developer built a Zig-based LLM inference engine from scratch on Mac in 12h, boosting Qwen 3.5 0.8B speed from 15 to 193 tok/s.
@Xudong07452910: Hacker News 上有一篇评论区火了的文章：Qwen 3.6 27B 是本地开发的理想选择。 核心发现是：密集参数模型、原生支持 256k 上下文，在 MacBook Max M5 上跑 Q8_0 量化版能达到 30 tokens/…
Qwen 3.6 27B is a dense 27B model that achieves impressive performance on local hardware with 256k context, running at 30 tokens/s on MacBook Max M5 and 50 tokens/s on RTX 5090, and is considered by some as the first local model with true general intelligence.
@lilililiMozi：关于我明明就是 Qwen3.8 27B 模型，却使用 390 万行……进行专项微调这件事
发布者声称该模型基于 Qwen3.8 27B，使用 390 万行代码数据进行专项微训，融合高效思考机制压缩推理长度，并经由 Opus5.5、GPT6Astra、Grok4.7、DSV4Pro 蒸馏对齐，配备 K3 kernel，再通过 SFT、RLOO 强化学习与 MTP 多词元预测三重训练，同时集成 DFlash2 注意力加速。
@wquguru：在本地部署模型离不开一些加速技巧。简单来说，你可以切换到 Turbo 之类的模型；……
作者系统整理了本地部署模型的加速方案，包括在 macOS 上结合 Turbo、MLX、VAE Q8 和前缀 KV cache 让 Qwen-Image 2.1 提速近 5 倍，以及用 Uzu 的投机解码把 Qwen3.5-9B 从 22 tok/s 提升到 92 tok/s、用 TensorRT 让 Qwen 在 RTX 5090 上比 llama.cpp 快 3 倍等案例。
@nicebabycat: https://x.com/nicebabycat/status/2091726637155103126
本文详细测试了Ling-3.0-tiny模型在Apple M5芯片Mac上的本地部署与性能，展示了在无独立显卡时以47 token/s的速度运行7.9B参数模型的可行性。