AtomicChat/Ling-3.1-flash-GGUF · Hugging Face

来源：https://huggingface.co/AtomicChat/Ling-3.1-flash-GGUF

https://huggingface.co/AtomicChat/Ling-3.1-flash-GGUF#how-to-run-ling-31-flash-locally如何在本地运行 Ling 3.1 flash

使用我们自己的重要性矩阵制作的 inclusionAI Ling 3.1 flash GGUF 版本。构建所用的校准语料库 (https://huggingface.co/datasets/AtomicChat/calib-corpora)已公开。

Atomic Chat (https://atomic.chat/?utm_source=huggingface&utm_medium=referral&utm_campaign=hf_ling_3_1_flash&utm_content=btn_atomic)Discord (https://discord.gg/8wGSsvmg4V)GitHub (https://github.com/AtomicBot-ai/Atomic-Chat)

• 可在 llama.cpp b11571 或更新版本中运行。

https://huggingface.co/AtomicChat/Ling-3.1-flash-GGUF#pick-a-file选择文件

文件磁盘大小KL 散度top-1AD\-Q8\_0600.8 GB0.0050397.88%AD\-Q6\_K478.0 GB0.0055797.72%AD\-Q5\_K\_M400.2 GB0.0076697.34%AD\-Q4\_K\_M354.4 GB0.0111496.86%AD\-IQ4\_XS337.8 GB0.0121296.64%AD\-IQ4\_XXS311.4 GB0.0139196.46%AD\-IQ3\_M277.1 GB0.0256495.27%AD\-IQ3\_XXS256.4 GB0.0343694.48%AD\-IQ2\_M218.1 GB0.0592792.72%AD\-IQ2\_XS198.2 GB0.0797291.64%AD\-IQ2\_XXS174.1 GB0.1113390.10%AD\-IQ1\_M160.9 GB0.1659787.86%AD\-IQ1\_S141.8 GB0.2044886.41% KL 散度表示量化模型的预测偏离 BF16 模型预测的程度。越低越好，零表示完全相同。top\-1表示其选择的下一个词元与 BF16 模型相同的频率。两者均在留出文本上测量；测量方法见底部。

这两个 1 位文件属于实验版本：在此测试中，它们选择的词元与 BF16 模型相同的比例为 86% 至 88%，因此请先用自己的任务进行检验。

AD\-表示 Atomic Dynamic 布局：路由专家 (占权重的 97%) 使用低位宽类型，而注意力、共享专家、路由器和稠密层保持在 q8_0 或更高精度。文件名表示专家的门控投影和上投影所用的类型；其下投影以及最后五个块中的所有专家均使用高一档的精度。

https://huggingface.co/AtomicChat/Ling-3.1-flash-GGUF#how-much-memory-it-needs需要多少内存

内存必须能容纳整个文件，此外还需为上下文留出少量空间。该模型的上下文内存开销很低：72 层中有 63 层使用具有固定大小状态的线性注意力，只有 9 层保留压缩后的注意力缓存。大约相当于每段对话 0.5 GB，外加每个词元约 10 KB。

总内存 (显存或统一内存)文件192 GBAD\-IQ1\_M256 GBAD\-IQ2\_M384 GBAD\-Q4\_K\_M512 GBAD\-Q5\_K\_M640 GBAD\-Q8\_0 在 Mac 上，请先提高 GPU 内存上限，例如在配备 256 GB 内存的机器上运行 sudo sysctl iogpu\.wired\_limit\_mb=240000。

https://huggingface.co/AtomicChat/Ling-3.1-flash-GGUF#running-it运行

llama-server -hf AtomicChat/Ling-3.1-flash-GGUF:AD-Q4_K_M -ngl 99 -c 32768 --jinja

每个文件都位于同名文件夹中，并拆分为最大 45 GB 的分片；将 llama.cpp 指向第一个分片，它就会加载其余分片：

hf download AtomicChat/Ling-3.1-flash-GGUF --include "AD-Q4_K_M/*" --local-dir . llama-server -m AD-Q4_K_M/Ling-3.1-flash-AD-Q4_K_M-00001-of-00009.gguf -ngl 99 -c 32768 --jinja

每个文件都内置了聊天模板。思考默认开启；在系统提示词中加入 detailed thinking off 即可将其关闭。

https://huggingface.co/AtomicChat/Ling-3.1-flash-GGUF#how-we-measured测量方法

参考基准：从 inclusionAI 发布的 FP8 版本转换而来的 BF16 权重，以未量化方式运行 (在留出集上的困惑度为 2.3590)。从 FP8 转换为 BF16 会对每个权重进行一次舍入，其误差远低于 Q8_0 引入的误差。

留出文本：我们校准数据集 (https://huggingface.co/datasets/AtomicChat/calib-corpora)中的 eval\_neutral，从未用于校准，共 144 个文本块，每块 4096 个词元。指标：各文件的预测相对于参考基准的逐词元 KL 散度，以及 top-1 一致率。硬件：8 张 A100-SXM4-80GB，所有文件均使用 llama.cpp 097cf33d9。

重要性矩阵由我们基于 ling3\-moe 语料库的 550 万个词元计算而得 (涵盖开启和关闭思考、工具调用、30 种语言、代码，以及最长 32k 词元的长文档)，并使用该模型自身的聊天模板进行格式化。

https://huggingface.co/AtomicChat/Ling-3.1-flash-GGUF#model-details模型详情

混合专家：68 层中的每层均有 512 个路由专家 (前 4 层为稠密层)，每个词元使用 8 个路由专家和 1 个共享专家，在 5640 亿参数中约有 240 亿处于激活状态。混合注意力：63 个 Kimi Delta Attention (线性) 层和 9 个多头潜在注意力层。隐藏维度 4096，词表大小 157,184，上下文长度 262,144。未包含原始发布版本的多词元预测头。

基于 inclusionAI 发布的 FP8 版本 (修订版 b426279f) 构建，转换为 BF16，并使用 llama.cpp b11571 (097cf33d9) 量化；需要支持 bailingmoe3 的 llama.cpp。

https://huggingface.co/AtomicChat/Ling-3.1-flash-GGUF#license-and-credits许可证与致谢

与原版相同，采用 MIT 许可证。基础模型 Ling 3.1 flash 由 inclusionAI (https://huggingface.co/inclusionAI) 开发。量化和评估由 AtomicChat 完成。