我们让 GLM-5.3-Flash 的本地运行速度提升了 3.3 倍！通过优化的解码和额外的多 token 预测，本地 GGUF 推理速度现在快了 1.6–3.4 倍。您可以在 128GB 配置上通过 Unsloth Desktop 或 llama.cpp 运行 3 位量化版本。指南：https://unsloth.ai/docs/models/glm-5.3-flash#faster-inference-and-mtp-support… GGUF 模型：https://huggingface.co/unsloth/GLM-5.3-Flash-GGUF…

GLM-5.3-Flash：本地运行指南 | Unsloth 文档

来源：https://unsloth.ai/docs/models/glm-5.3-flash 如需完整文档索引，请参阅 llms.txt (https://unsloth.ai/docs/llms.txt). 本页也提供 Markdown 版本 (https://unsloth.ai/docs/models/glm-5.3-flash.md).

1. 模型 (https://unsloth.ai/docs/models)

GLM-5.3-Flash：本地运行指南

运行由 Z.ai 推出的全新 GLM-5.3-Flash 模型（又名 ox-alpha）。

GLM-5.3-Flash，也被称为 ox\-alpha，是 Z.ai 的新款 3200 亿参数（180 亿激活参数）多模态开源模型，其性能超越了 GLM-5.2 (https://unsloth.ai/docs/models/glm-5.2)。GLM-5.3-Flash 是 GLM-5.3 (https://unsloth.ai/docs/models/glm-5.3) 的精简版，在编程和智能体基准测试中与 Claude Opus 4.8 一较高下。您现在可以通过 llama.cpp 或 Unsloth (https://github.com/unslothai/unsloth) 在配备 102GB 内存/显存的设备上运行 1 位量化模型，或在 128GB 配置上运行 3 位量化版本。感谢 Z.ai 提供的首发体验。

Unsloth 动态 1 位（93GB）GGUF 在体积比 BF16（642GB）缩小 85% 的同时，仍能保持前 1% 准确率的 71%。动态 3 位体积缩小 76%，保持 87% 的准确率。

运行 GLM-5.3-Flash 指南 (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-ox-alpha-locally) 下载 Unsloth (https://unsloth.ai/download)

GLM-5.3-Flash 在 30 万亿 token 上训练，基于一个全新训练的基础模型构建。其混合稀疏和线性注意力架构在不牺牲准确率的前提下降低了长上下文服务的成本。

您现在可以直接在 Unsloth Desktop (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-unsloth) 中运行此模型。

⚙️使用指南 https://unsloth.ai/docs/models/glm-5.3-flash#usage-guide

GLM-5.3-Flash 硬件要求： https://unsloth.ai/docs/models/glm-5.3-flash#glm-5.3-flash-requirements

最小的 1 位量化版本可在 100GB 内存上运行，而 3 位量化版本可在 128GB 设备（如 Mac 或 NVIDIA DGX Spark）上运行。表格：硬件要求（单位：总内存，即 内存 + 显存，或统一内存）

推荐设置 https://unsloth.ai/docs/models/glm-5.3-flash#recommended-settings

GLM-5.3-Flash 有 3 种思考模式：低、高和最大。对于复杂任务，请使用最大思考模式。在 Unsloth (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.2-in-unsloth-studio) 中，您可以通过聊天区域的开关轻松选择低、高或最大思考模式。

大多数用例请使用以下设置：

默认设置（适用于大多数任务）

• 最大上下文窗口： 1,048,576。

调整推理努力程度 https://unsloth.ai/docs/models/glm-5.3-flash#changing-reasoning-effort

GLM-5.3-Flash 默认使用最大推理努力程度。它也支持调整推理努力程度，其中 reasoning_effort 可以是 “low”、“high” 或 “max”。

更快的推理与 MTP 支持 https://unsloth.ai/docs/models/glm-5.3-flash#faster-inference-and-mtp-support

截至 9 月 4 日，我们已在我们的首发 llama.cpp 提交 (https://github.com/ggml-org/llama.cpp/pull/27754) 中添加了若干改进和优化。我们实现了更快的解码路径以及额外的 MTP 支持，在长上下文长度下可实现高达 3.3 倍的推理加速！

一切在 Unsloth Desktop (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-unsloth) 中开箱即用，如有需要只需更新到最新版本。无需额外的模块或 MTP 文件。或者，您也可以遵循我们的 llama.cpp (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-llama.cpp) 指南。

使用 GLM-5.3-Flash UD-IQ1_S 在 1 块 B200 上运行，首先不考虑 MTP，我们得到：

然后当我们加入 MTP 后，会看到更大的收益，尤其是在更长的上下文中。但我们应该在 n=2 左右停止，因为更多的草稿 token 反而会使推理变慢。

对于较短的上下文长度，我们仍然能看到速度提升，最高可达 1.6 倍。

📈 量化分析 https://unsloth.ai/docs/models/glm-5.3-flash#quantization-analysis

我们将 GLM-5.3-Flash 量化到 UD-IQ1_S 1 位（93.09GB），它在体积比 BF16（641.64GB）缩小 85% 的同时，仍能保持前 1% 准确率的 71%。

动态 2 位 UD-Q2_K_XL 为 109GB，体积缩小 83%，保持 78% 的准确率。动态 3 位 UD-IQ3_XXS 为 120GB，体积缩小 81%，保持 82% 的准确率。动态 4 位 UD-Q4_K_XL 为 200GB，体积缩小 69%，保持 93% 的准确率。

本地运行 GLM-5.3-Flash（Ox-Alpha） https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-ox-alpha-locally

您现在可以通过我们特定的提交 (https://github.com/ggml-org/llama.cpp/pull/27754) 在 Unsloth Desktop 和 llama.cpp 中运行 GLM-5.3-Flash（Ox-Alpha）。在我们的演示中，我们使用了 3 位量化 UD\-IQ3\_XXS，因为它能适配 128GB 的设备。您可以随意更改量化类型。

在 Unsloth Desktop 中运行 (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-unsloth) 在 llama.cpp 中运行 (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-llama.cpp)

🦥 在 Unsloth 中运行 GLM-5.3-Flash https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-unsloth

GLM-5.3-Flash 现在可以在 Unsloth Desktop (https://unsloth.ai/docs/models/glm-5.3-flash#run-qwen3.8-in-unsloth-desktop) 中运行，这是一个用于本地 AI 的开源 UI 应用。Unsloth 会自动将模型卸载到内存并检测多 GPU 设置。使用 Unsloth Desktop，您可以在 MacOS、Windows、Linux 上本地运行模型，并且可以：

• 搜索、下载、运行 GGUFs (https://unsloth.ai/docs/new/studio#run-models-locally)、MLX 和 safetensor 模型
• 通过 MLX 和 llama.cpp 实现快速的 CPU + GPU 推理

搜索并下载 GLM-5.3-Flash https://unsloth.ai/docs/models/glm-5.3-flash#search-and-download-glm-5.3-flash

前往 Unsloth Chat (https://unsloth.ai/docs/new/studio/chat) 或模型中心，在搜索栏中搜索 GLM-5.3-Flash，然后下载您想要的模型和量化版本。

运行 GLM-5.3-Flash https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash

使用 Unsloth 时，推理参数应会自动设置，但您仍然可以手动更改。您还可以编辑上下文长度、聊天模板和其他设置。

有关更多信息，您可以查看我们的 Unsloth 推理指南 (https://unsloth.ai/docs/new/studio/chat)。下图是 1 位运行的情况：

使用 Unsloth API 服务 GLM-5.3-Flash https://unsloth.ai/docs/models/glm-5.3-flash#serve-glm-5.3-flash-with-unsloth-api

您可以使用 unsloth run 命令并通过 llama-server 运行时标志（包括上下文大小、GPU 层数、线程、采样、网络和工具配置）来服务 GLM-5.3-Flash。更多信息请参阅我们的 API 文档 (https://unsloth.ai/docs/basics/api) 或 unsloth start (https://unsloth.ai/docs/integrations/unsloth-start)。

Unsloth 现已就绪 https://unsloth.ai/docs/models/glm-5.3-flash#unsloth-is-now-ready

您还可以通过 Unsloth Desktop 使用 GLM-5.3-Flash 做更多事情，例如：

• 训练模型： 微调文本、扩散、embedding (https://unsloth.ai/docs/basics/embedding-finetuning) 等
• 生成媒体： 本地创建和训练图像 (https://unsloth.ai/docs/basics/diffusion-image)、视频、TTS (https://unsloth.ai/docs/basics/text-to-speech-tts-fine-tuning)

🦙 在 llama.cpp 中运行 GLM-5.3-Flash https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-llama.cpp

我们需要使用我们特定的 llama.cpp 提交 (https://github.com/unslothai/llama.cpp/pull/61)。您也可以遵循以下构建说明。如果您没有 GPU 或只想进行 CPU 推理，请将 -DGGML_CUDA=ON 更改为 -DGGML_CUDA=OFF。对于 Apple Mac / Metal 设备，请设置 -DGGML_CUDA=OFF 然后照常继续——Metal 支持默认开启。

运行模型，您可以执行：

然后运行它：

将 UD-IQ3_XXS 替换为您首选的量化类型，例如上传后的 2 位 IQ2_XXS。

📊 基准测试 https://unsloth.ai/docs/models/glm-5.3-flash#benchmarks

CharXiv 推理

带工具

最后更新 2 分钟前

• ⚙️使用指南 (https://unsloth.ai/docs/models/glm-5.3-flash#usage-guide)
• 推荐设置 (https://unsloth.ai/docs/models/glm-5.3-flash#recommended-settings)
• 更快的推理与 MTP 支持 (https://unsloth.ai/docs/models/glm-5.3-flash#faster-inference-and-mtp-support)
• 📈 量化分析 (https://unsloth.ai/docs/models/glm-5.3-flash#quantization-analysis)
• 本地运行 GLM-5.3-Flash（Ox-Alpha） (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-ox-alpha-locally)
• 🦥 在 Unsloth 中运行 GLM-5.3-Flash (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-unsloth)
• 🦙 在 llama.cpp 中运行 GLM-5.3-Flash (https://unsloth.ai/docs/models/glm-5.3-flash#run-glm-5.3-flash-in-llama.cpp)
• 📊 基准测试 (https://unsloth.ai/docs/models/glm-5.3-flash#benchmarks)

curl -fsSL https://unsloth.ai/install.sh | sh

irm https://unsloth.ai/install.ps1 | iex

unsloth run --model unsloth/GLM-5.3-Flash-GGUF:UD-IQ3_XXS

apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone --branch glm5next/upstream https://github.com/unslothai/llama.cpp
cmake llama.cpp -B llama.cpp/build \
    -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-mtmd-cli llama-server llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp

pip install -U "huggingface_hub[cli]"
hf download unsloth/GLM-5.3-Flash-GGUF \
    --local-dir unsloth/GLM-5.3-Flash-GGUF \
    --include "*UD-IQ3_XXS*" # 2位使用 "*IQ2_XXS*"

./llama.cpp/llama-cli \
    --model unsloth/GLM-5.3-Flash-GGUF/UD-IQ3_XXS/GLM-5.3-Flash-UD-IQ3_XXS-00001-of-00004.gguf \
    --temp 1.0 \
    --top-p 0.95 \
    --chat-template-kwargs '{"reasoning_effort":"max"}'

Z.ai (@Zai_org): 推出 GLM-5.3-Flash

• 以极具竞争力的价格提供领先的能力
• 原生多模态，支持 100 万 token 上下文窗口
• 一个 320B-A18B 模型，基于 MIT 许可证发布
• 此前以 Ox Alpha 名称预览，完全在中国 AI 芯片上运行

博客：