SyzygyResearch/Mach-1-Additive-35B-GGUF · Hugging Face
摘要
本文介绍了Mach-1-Additive-35B AI模型的GGUF构建，该构建通过自定义llama.cpp分支针对消费级硬件优化了本地推理，并突出了强大的基准测试性能。
查看缓存全文
缓存时间: 2026/08/20 08:50
SyzygyResearch/Mach-1-Additive-35B-GGUF · Hugging Face
来源：https://huggingface.co/SyzygyResearch/Mach-1-Additive-35B-GGUF Mach-1-Additive-35B (https://huggingface.co/SyzygyResearch/Mach-1-Additive-35B) 的GGUF构建版本，可在消费级硬件上进行本地推理（支持 NVIDIA CUDA、Windows/Linux Vulkan、CPU；在 Apple Silicon 上编解码器运行于 CPU —— 需要使用 Mach Studio 在 macOS 上进行 GPU 推理）。
此 GGUF 文件需要使用 Mach-1 分支版的 llama.cpp：SyzygyResearch/llama.cpp-mach1 (https://github.com/SyzygyResearch/llama.cpp-mach1)。主线版 llama.cpp 无法加载此模型，我们的模型使用了自定义的网格编码张量负载和解码操作，这些仅存在于该分支中。
https://huggingface.co/SyzygyResearch/Mach-1-Additive-35B-GGUF#files文件
| 文件名 | 大小 | 说明 |
|---|---|---|
Mach\-1\-Additive\-35B\.mach1\.gguf | 7.87 GB | 文本模型，负载 v3（加法式） |
https://huggingface.co/SyzygyResearch/Mach-1-Additive-35B-GGUF#quick-start快速开始
构建该分支——根据你的硬件选择后端（NVIDIA → CUDA，AMD/Intel → Vulkan）：
git clone https://github.com/SyzygyResearch/llama.cpp-mach1
cd llama.cpp-mach1
# NVIDIA (需要 CUDA 工具包)
cmake -B build -DGGML_CUDA=ON
# AMD / Intel / 其他 (需要 Vulkan SDK，包含 glslc)
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config Release -j
直接从 Hugging Face 运行：
./build/bin/llama-cli -hf SyzygyResearch/Mach-1-Additive-35B-GGUF
或从本地下载运行：
# 交互式聊天
./build/bin/llama-cli -m Mach-1-Additive-35B.mach1.gguf
# 单轮/脚本式使用（不加 -st 参数时，llama-cli 在回答提示后
# 会进入交互对话模式）
./build/bin/llama-cli -m Mach-1-Additive-35B.mach1.gguf -st -p "your prompt"
截图 2026-08-03 at 10.32.36 AM (https://cdn-uploads.huggingface.co/production/uploads/680868b984cac4b136ea7900/0YxMKj31WMJT1NwbVAGjj.png)
https://huggingface.co/SyzygyResearch/Mach-1-Additive-35B-GGUF#benchmarks基准测试
平均保留率，12 项基准测试
| 模型 | 平均保留率 |
|---|---|
| Mach-1 Small | 96.3% |
| Ternary Bonsai 27B (PrismML) | 93.6% |
| Gemma 4 Q2_K_XL (Unsloth) | 85.6% |
https://huggingface.co/SyzygyResearch/Mach-1-Additive-35B-GGUF#per-benchmark-retention-score-divided-by-that-of-the-respective-full-precision-model各基准测试保留率（分数除以各自全精度模型的分数）
| 基准测试 | Mach-1 Small | Ternary Bonsai 27B | Gemma 4 Q2_K_XL |
|---|---|---|---|
| AIME26 | 95.8% | 92.7% | 67.7% |
| MATH-500 | 99.2% | 98.2% | 95.6% |
| AIME25 | 93.9% | 91.7% | 67.2% |
| GSM8K | 99.8% | 100.2% | 97.3% |
| MBPP+ | 98.1% | 98.4% | 92.2% |
| HumanEval+ | 96.5% | 98.7% | 94.1% |
| MMLU-Redux | 97.0% | 94.0% | 96.9% |
| IFEval | 94.8% | 89.8% | 95.5% |
| MuSR | 100.4% | 91.6% | 91.1% |
| BFCL-v3 | 96.3% | 98.9% | 95.7% |
| τ2-bench | 94.1% | 91.2% | 73.1% |
| IFBench | 89.8% | 77.7% | 61.3% |
| 平均 | 96.3% | 93.6% | 85.6% |
Mach-1 Small 的自身分数及其教师模型分数：
| 基准测试 | 得分 | 教师 (Qwen3.6-35B-A3B BF16) | 保留率 |
|---|---|---|---|
| AIME26 | 86.25 | 90.00 | 95.8% |
| MATH-500 | 97.80 | 98.60 | 99.2% |
| AIME25 | 82.92 | 88.33 | 93.9% |
| GSM8K | 95.98 | 96.21 | 99.8% |
| MBPP+ | 94.18 | 96.03 | 98.1% |
| HumanEval+ | 91.77 | 95.12 | 96.5% |
| MMLU-Redux | 89.88 | 92.68 | 97.0% |
| IFEval | 84.42 | 89.05 | 94.8% |
| MuSR | 66.93 | 66.66 | 100.4% |
| BFCL-v3 | 72.19 | 74.98 | 96.3% |
| τ2-bench | 74.82 | 79.51 | 94.1% |
| IFBench | 58.33 | 64.97 | 89.8% |
https://huggingface.co/SyzygyResearch/Mach-1-Additive-35B-GGUF#speed速度
截图 2026-08-03 at 11.55.47 AM (https://cdn-uploads.huggingface.co/production/uploads/680868b984cac4b136ea7900/lYFfUCU1QWrGjM23vbb66.png)
相似文章
LiquidAI/LFM2.5-2.6B-GGUF
此 Hugging Face 模型卡片介绍了 LiquidAI 的 LFM2.5-2.6B 模型（GGUF 量化格式），并提供了通过 llama.cpp、vLLM、Ollama 等工具在本地运行的说明。
LiquidAI/LFM2.5-8B-A1B-GGUF
LiquidAI 发布了其 LFM2.5-8B-A1B 模型的 GGUF 量化版本，并提供了在多个推理引擎上的使用说明。
SyzygyResearch/Mach-1-Additive-35B
SyzygyResearch 发布了 Mach-1-Additive-35B，这是一个量化后的 35B 模型，相对于其全精度教师模型，在 12 个基准测试中实现了 95% 的平均保留率，优于其他量化基线。该模型卡包含每个基准的保留分数、速度以及教师模型对比。
huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
Hugging Face 上发布了已消除限制的 GLM-5.2 模型的量化 GGUF 版本，可使用 Transformers、llama.cpp 和 vLLM 等工具进行本地推理。
将AI9Stars的G9v3-39A5B量化至GGUF格式并创建专用llama.cpp分支
本文介绍了将AI9Stars G9v3-39A5B混合专家模型非官方量化至GGUF格式的过程，以及为支持BF16与Q4_K_M变体本地推理而创建的llama.cpp专用分支。