@shaneparrish: https://x.com/shaneparrish/status/2075226155548807210

X AI KOLs Following 模型
quantized qwen large-language-model macbook local-inference lossless

摘要

演示了在MacBook Pro上利用BBQ-FP4量化同时运行两个80B Qwen模型，声称性能无损且速度很快。

👀
查看原文
查看缓存全文

缓存时间: 2026/07/10 08:09

👀

Rob Imbeault (@RobImbeault): 两台80B Qwen BBQ-FP4模型同时在MacBook Pro上运行，功能无损且速度飞快！

团队正在大显身手！

相似文章

我在 MacBook Air M5 上对 21 款本地大模型进行了代码质量与速度的性能评测

Reddit r/LocalLLaMA

一位开发者在 MacBook Air M5 上使用 HumanEval+ 对 21 款本地大模型进行了基准测试，发现 Qwen 3.6 35B-A3B (MoE) 以 89.6% 的得分和 16.9 tok/s 的速度位居榜首，而 Qwen 2.5 Coder 7B 仅需 4.5 GB 内存即可达到 84.2% 的性能，拥有最佳的内存性价比。值得注意的是，Gemma 4 系列的表现远低于预期（31B 版本仅得 31.1%），这可能是受 Q4_K_M 量化策略的影响。

@port_dev: https://x.com/port_dev/status/2054259445732110408

X AI KOLs Timeline

本文提供了一份详细教程，介绍如何通过 Unsloth Studio 和 Pi 编码框架配置基于 Qwen3.6-27B 的本地编码智能体。文章强调了使用 GGUF 量化模型在消费级硬件（如搭载 Apple Silicon 芯片的 Mac 电脑）上实现高效推理的优势。

有人在32GB Mac上使用opencode、claude code或类似工具，通过Qwen3.6-35B-A3B-UD-Q4_K_M实际完成编码工作吗？

Reddit r/LocalLLaMA

我在一台配备32GB RAM的M2 Macbook Pro上运行Qwen3.6-35B-A3B-UD-Q4_K_M。我使用的是相当新版本的llama.cpp和opencode。为了避免llama-server因内存耗尽而直接崩溃，我必须将上下文窗口设置为32768个token。这一点后来被证明很重要。作为一次希望能有些参考价值的测试，我给opcode布置了一个之前Claude Code配合Opus 4.7能够完成的任务。项目不算大，但任务涉及深入挖掘应用程序的前后端，并找出一个连我（作为原始开发者，在AI之前）都没有一眼看出的问题。