我以为在标准智能手机上运行大规模模型已经非常了不起了，但

Reddit r/AI_Agents 工具
open-source mobile-ai moe-models edge-inference llama-cpp

摘要

bigedgeonmoe开源代码库的创建者使得在移动设备和消费级PC上运行大规模MoE模型（高达120B参数）成为可能，在中端手机上实现了Qwen 35B模型每秒6个token的速度。

大家好，我是 bigedgeonmoe 的创建者，这是一个开源代码库，允许你在移动设备或消费级PC上运行大规模MoE模型（从Qwen 35B到开源的120B模型）。而且速度也相当不错：Qwen 35B（Q4）在一台拥有12GB RAM的中端手机上可以达到每秒6个token。诚然，目前还没有具体的应用场景（至少没有明显的），但我看到其他项目在Mac上做同样的事情（使用高端GPU和RAM）走红了，而我的项目则完全在CPU上处理。此外，它相对于llama.cpp是模块化的，只要llama.cpp支持，任何模型或量化方法都能工作；而且，如果有新模型出现，注册架构只需要一行代码。抱歉发了这么多牢骚，但这确实是我倾注了大量心血的项目。
查看原文

相似文章

面向 16GB GPU 与 Qwen 3.6 35B MoE 代码模型的穷人版推理引擎

Reddit r/LocalLLaMA

作者将 llama.cpp 的 server 分支为 AgrillaMoE，针对 Qwen3.6-35B-A3B MoE 模型在 16GB 显存 GPU 上优化，配合 2-bit 量化可达约 57-60 tok/s，并支持 OpenAI/Anthropic API 兼容接口；其 MoE 扩展补丁在运行时增加每 token 激活专家数（20 vs 8），无需重训即可在 GPQA-Diamond 上提升约 2.5 分。