一个纯C从头编写的、仅支持CPU的Qwen 3精简推理引擎

Reddit r/LocalLLaMA 2026/06/28 09:58 工具

qwen-3 inference-engine cpu-only c-language open-source barebones

摘要

一个纯C从头实现的、仅支持CPU的Qwen 3模型最小推理引擎

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。

Reddit r/LocalLLaMA

在基于Intel 285hx处理器（MS-02）的CPU配置上测试AI模型Qwen3、Qwen3.6和Gemma4。

Reddit r/LocalLLaMA

修复了qMLX分支中运行Qwen3.5-122B的三个bug，将长上下文推理的预填充时间从几分钟降低到亚秒级；开源了该分支和基准测试脚本。

Reddit r/LocalLLaMA

Project Zero 是一个从零构建的 C99 LLM推理引擎，可在 CPU 上运行 BitNet 与 Qwen Bonsai-27B，拥有零外部依赖，在 Xeon 上相比 bitnet.cpp 实现 1.8 倍加速。该项目诚邀社区为这两种模型提供基准测试结果。

Hacker News Top

Qwen 3.6 27B 被赞誉为强大的本地 AI 模型，在通用智能方面超越预期，适用于代码生成等实际任务，并能通过 llama.cpp 轻松运行。