@Oluwaphilemon1：Qwen3.8-27B 正在一台仅有 16GB 统一内存的 M1 MacBook 上本地运行。不用云端 API。不用外接 GPU。只需一台……

X AI KOLs Timeline 新闻
local-inference quantization apple-silicon llm open-weights edge-ai

摘要

演示中，Qwen3.8-27B 使用 UD-Q2_K_XL 量化和全量 Metal 卸载，在配备 16GB 统一内存的 M1 MacBook 上本地运行，生成速度达到约 4 token/秒（使用推测解码时约为 5.5 token/秒）——这表明，大型开放权重模型可以在许多人已经拥有的硬件上运行。

Qwen3.8-27B 正在一台仅有 16GB 统一内存的 M1 MacBook 上本地运行。 无需云端 API。无需外接 GPU。只是一台较老的 Apple 芯片笔记本电脑，通过激进量化运行一个 270 亿参数的模型。 以下是报告中的数据： 模型：Qwen3.8-27B 量化：UD-Q2_K_XL 模型大小：9.15GB 硬件：M1 MacBook，16GB 统一内存 GPU 加速：通过 Metal 完全卸载至 GPU 首个 token 延迟：约 850 毫秒 提示词处理速度：10–12.5 token/秒 生成速度：约 4 token/秒 报告的内存占用：约 11GB 有意思的是，这个模型是如何装进这台机器的。 一个 27B 模型拥有 270 亿个参数。在全精度下，仅其权重就会超过这台 MacBook 的可用内存。 UD-Q2_K_XL 将这些权重压缩至平均每个参数约两比特，最终大小还会受到其他量化细节的影响。这使得模型能够加载到内存中，同时为运行时和其他组件留出空间。 代价是，激进量化可能降低模型质量。具体降低多少，取决于模型、量化方法和任务。 每秒四个 token 可以用，但算不上快。 简短问题和小型编程任务尚可应对。较长的回答则需要耐心，而且这套配置并不适合要求较高的智能体编程工作流，因为这类工作流需要模型生成大量代码并快速迭代。 不过，还有一个有意思的结果。 采用推测解码后，在编程和结构化输出任务中，报告的生成速度提升到了每秒 5.5 个 token 以上。 其工作原理如下。 一个较小的草稿模型会提前提出多个候选 token。主模型并行检查这些候选内容，并接受与自身预测一致的 token。 当足够多的候选 token 被接受时，系统就能以更少的串行解码步骤生成更多输出。 加速效果取决于草稿模型、token 接受率、验证开销和工作负载。它不一定能让每个提示词都获得相同幅度的提升。 这对本地 AI 意味着什么 这并不是在展示运行 27B 模型的最快方式，而是在展示许多人已经拥有的硬件究竟能容纳多大的模型。 Metal 卸载让模型计算能够在 Apple 的 GPU 上运行，而统一内存则为模型权重和运行时数据提供共享内存池。 你仍然需要考虑额外内存开销、上下文长度，以及极端压缩可能带来的质量损失。 但一台配备 16GB 内存的 M1 MacBook，确实可以运行这种规模的模型，而无需将提示词发送到托管推理服务。 对于实验、离线使用，以及学习本地推理的工作原理来说，这是一项实用的能力。 老款 Mac 无法取代现代 GPU 工作站。在每秒约四个 token 的速度下，你会明显感受到它的局限。 尽管如此，开始尝试更大的开放权重模型，并不总是需要购买新硬件。有时，选择合适的量化方式和推理策略，就足以让一个原本难以实际运行的模型装进现有硬件。https://x.com/Lonely__MH/status/2090287811106906313/video/1…
查看原文
查看缓存全文

缓存时间: 2026/10/14 18:03

Qwen3.8-27B 正在一台仅配备 16GB 统一内存的 M1 MacBook 上本地运行。

没有云端 API。没有外接 GPU。只是一台较老的 Apple Silicon 笔记本电脑，通过激进量化运行一个 270 亿参数的模型。

以下是报告的数据：

模型：Qwen3.8-27B 量化：UD-Q2_K_XL 模型大小：9.15GB 硬件：M1 MacBook，16GB 统一内存 GPU 加速：通过 Metal 完全卸载至 GPU 首个 token 延迟：约 850 毫秒 提示词处理速度：10–12.5 token/秒 生成速度：约 4 token/秒 报告的内存占用：约 11GB

有意思的是，这个模型是如何装进这台机器的。

一个 27B 模型拥有 270 亿个参数。在全精度下，仅其权重就会超过这台 MacBook 的可用内存。

UD-Q2_K_XL 将这些权重压缩到平均每个参数约两比特，其他量化细节也会影响最终大小。这样就能加载模型，同时为运行时和其他组件留出内存。

代价是，激进量化可能降低模型质量。具体下降多少，取决于模型、量化方法和任务。

每秒四个 token 可以用，但算不上快。

简短问题和小型编程任务还应付得来。较长的回答需要耐心等待，而且这套配置并不适合要求较高的智能体编程工作流，因为这类工作流需要模型生成大量代码并快速迭代。

不过，还有一个有意思的结果。

使用推测解码后，在编程和结构化输出任务中，报告的生成速度提升到了每秒 5.5 个 token 以上。

其工作原理如下。

一个较小的草稿模型提前提出若干个 token。主模型并行检查这些提议，并接受与自身预测一致的 token。

当足够多的候选 token 被接受时，系统就能以更少的顺序解码步骤生成更多输出。

加速效果取决于草稿模型、token 接受率、验证开销和工作负载。它不一定会让每个提示词都获得相同程度的提升。

这对本地 AI 有何意义

这并不是在展示运行 27B 模型的最快方式，而是在展示许多人已经拥有的硬件究竟能容纳多大的模型。

Metal 卸载让模型计算能够在 Apple 的 GPU 上运行，而统一内存则为模型权重和运行时数据提供共享内存池。

你仍然需要考虑内存开销、上下文长度，以及极端压缩可能带来的质量损失。

但一台配备 16GB 内存的 M1 MacBook，确实可以运行这种规模的模型，而无需将提示词发送到托管推理服务。

对于实验、离线使用以及学习本地推理的工作原理来说，这是一项实用的能力。

一台老款 Mac 无法取代现代 GPU 工作站。在每秒约四个 token 的速度下，你会明显感受到它的局限。

不过，要开始尝试更大的开放权重模型，并不总是需要新硬件。有时，只要选择合适的量化方式和推理策略，就足以让原本难以运行的模型装进现有机器。https://x.com/Lonely__MH/status/2090287811106906313/video/1…

相似文章

@Xudong07452910: Hacker News 上有一篇评论区火了的文章：Qwen 3.6 27B 是本地开发的理想选择。 核心发现是：密集参数模型、原生支持 256k 上下文，在 MacBook Max M5 上跑 Q8_0 量化版能达到 30 tokens/…

X AI KOLs Timeline

Qwen 3.6 27B is a dense 27B model that achieves impressive performance on local hardware with 256k context, running at 30 tokens/s on MacBook Max M5 and 50 tokens/s on RTX 5090, and is considered by some as the first local model with true general intelligence.