inclusionAI/Ling-3.0-flash 权重已上架 Hugging Face —— MIT 许可、BF16 以及官方 FP8

就在最后几分钟公开了，两个仓库都没设门禁。Ling-3.0-flash，BF16，24 个分片，约 255GB；Ling-3.0-flash-fp8，官方 FP8，约 128GB。总参数 127.5B，他们标称激活参数 5.1B。config.json 里最让我注意的是 512 个专家、每个 token 激活 8 个，这比这里发布的大多数模型都要细粒度得多。架构是 BailingMoeV3，model_type 为 bailing_hybrid，使用 custom_code，因此与 Ling-2.6-flash 同属一个家族。思考模式是聊天模板中的一个按请求开关，而不是单独的 SKU，并且默认开启。FP8 版本约 128GB 是我最关心的部分。上周这个帖子里有人猜测 Q8_0 大约是 135GB，结果还真差不多，只不过这个是官方版，而不是社区量化版，所以对于拥有大统一内存机器或多 GPU 设备的人来说，直接下载即可。有人知道 llama.cpp 现在是否已经支持 bailing_hybrid 了，还是目前只有 vllm 和 sglang 支持？这才是真正决定我今晚要不要清磁盘空间的因素。https://huggingface.co/inclusionAI/Ling-3.0-flash