本地 LLM 推理的重大突破！ 这个开源引擎在 MacBook 上的 token 生成速度比 Ollama 快 2.7 倍： 我在一台基础款 M5 MacBook Pro 上使用 Qwen3.5 4B（4-bit 量化）和相同的 9.2k token 提示词进行了测试。Ollama 使用的是其 MTP 构建版本，因此两者都支持投机解码。 - 预填充（Prefill）：Ollama 464 tok/s，Magnitude 755 tok/s（1.6 倍） - 解码（Decode）：Ollama 22.6 tok/s，Magnitude 60.0 tok/s（2.7 倍） - 端到端来看，Magnitude 的完成时间只用了 Ollama 的一半 下面的视频展示了两个引擎并排运行的对比。 Ollama 的数据并不意味着它做得不好，只是它的 kernel 是提前调优好的。 kernel 是每个矩阵乘法和注意力（attention）步骤背后的 GPU 小程序。它的速度取决于许多选择，比如如何将工作分配到各个 GPU 核心，以及数据如何在内存中流动。 最佳选择会随芯片不同而变化。仅 Apple Silicon 就涵盖 8 到 80 个 GPU 核心，带宽从不到 70 GB/s 到超过 800 GB/s，而且每个模型都有自己的层尺寸。 一个预构建的引擎必须为所有这些情况选择同一套参数，因此大多数本地配置运行的都是一种折中方案。 Magnitude 用你机器上的实际调优取代了这种折中： ↳ 当你下载一个模型时，它会在本地编译该模型的 kernel。 ↳ 它会尝试不同的 kernel 配置，保留你芯片上运行最快的那一个。 ↳ 它会为每个模型搭配它找到的最快的投机解码草稿模型（drafter），使得模型每推理一次能生成一个以上的 token。 GitHub 仓库：http://github.com/magnitudedev/magnitude… （别忘了给它点星 🌟） 这对 agent 尤为重要。每个文件和工具输出都必须在模型写出任何内容之前被处理，而预填充步骤正是 kernel 效率的关键体现。并发会话还会共享前缀缓存（prefix cache），因此多个并行 agent 不会互相拖慢速度。 Magnitude 是一个用 Rust 编写的开源（Apache 2.0）推理引擎。它支持一键接入 Claude Code、Codex、OpenCode、Pi 等多种 agent。 我已经在上面分享了 GitHub 仓库。