@pcuenq: 我的数据点:使用 Pi + llama.cpp + Qwen-3.6-35B-A3B 并行处理两个项目(我更喜欢 MoE 模型)。这项工作……
摘要
有用户报告称,在较旧的 M1 Max 机器上使用 Pi 和 llama.cpp 配合 Qwen-3.6-35B-A3B 模型成功运行并行项目,证明了其实际可用性。
我的数据点:使用 Pi + llama.cpp + Qwen-3.6-35B-A3B 并行处理两个项目(我更喜欢 MoE 模型)。这在我的 M1 Max(64 GB)上运行良好,该设备是我 4.5 年前购买的。“运行良好”指的是“可以完成实际工作”,而不仅仅是“能跑个演示”。https://x.com/julien_c/status/2047647522173104145?s=20…
相似文章
本地运行 Qwen3.6-35B-A3B 作为编码 Agent:我的完整部署与可用配置
一份详尽指南,教你如何在 Apple Silicon 上通过 llama.cpp 本地运行 350 亿参数 Qwen3.6 模型,并驱动 pi 编码 Agent,附带优化后的启动参数与采样配置。
@mitsuhiko: 如果没有 128GB 内存的 Mac,我还有一个 pi-llamacpp 扩展,仅配置了 4 个版本的 Qwen 3.6。https://...
mitsuhiko 发布了一个 pi-llamacpp 扩展,用于自动化设置和管理基于 llama.cpp 的本地 LLM 推理,特别支持 Qwen 3.6 模型的多种量化版本。
@_lewtun: 你现在可以在笔记本上免费全天候运行 AI 研究员了!使用 llama.cpp 和 4-bi…
本文重点介绍了如何在本地笔记本上使用 llama.cpp 和 Unsloth 4-bit 量化免费运行 Qwen3-35B-A3B。
更多 Qwen3.6-27B MTP 的成功案例,但这次是在双路 Mi50 上
本文在双路 Mi50 GPU 上,使用多令牌预测(MTP)和张量并行技术对 Qwen3.6-27B 模型进行了基准测试,展示了通过 llama.cpp 实现的显著加速效果。
在M1 Max上使用Zoo Code运行Qwen 3.6 35b MoE真是太棒了!完全本地化、电池供电的编码利器!
本文讨论了在Apple M1 Max Mac上使用Zoo Code本地运行Qwen 3.6 35b混合专家模型,突出其作为电池供电的编码助手的能力。