我们更新了 Hy4-flash 的量化版本:发布 MLX 版本,并改进 GGUF 版本
摘要
nace-ai 更新了其针对腾讯 Hy4 模型系列的量化合集,新增了 MLX 版本,并为 Hy4-flash 和规模更大的 Hy4 模型提供了多种位宽(3.1 位至 4.6 位)的改进版 GGUF 量化模型。
查看缓存全文
缓存时间: 2026/11/20 15:48
Hy4 系列 Nace 量化模型 - nace-ai 合集
来源:https://huggingface.co/collections/nace-ai/hy4-family-nace-quants 更新于约 2 小时前
由 Nace 量化的腾讯 Hy4 模型:GGUF 和 MLX\。
点赞 - (https://huggingface.co/login?next=%2Fcollections%2Fnace-ai%2Fhy4-family-nace-quants)
- — #### nace-ai/Hy4-flash-GGUF 文本生成• 219B• 更新于 3 分钟前 • 1.4k • 8 (https://huggingface.co/nace-ai/Hy4-flash-GGUF)
- — #### nace-ai/Hy4-flash-MLX-4bit 文本生成• 220B• 更新于 29 分钟前 • 10 • 1 (https://huggingface.co/nace-ai/Hy4-flash-MLX-4bit)
- — #### nace-ai/Hy4-flash-MLX-4.6bit 149B• 更新于 38 分钟前 • 1 (https://huggingface.co/nace-ai/Hy4-flash-MLX-4.6bit)
- — #### nace-ai/Hy4-flash-MLX-3.1bit 文本生成• 19B• 更新于 38 分钟前 (https://huggingface.co/nace-ai/Hy4-flash-MLX-3.1bit)
- — #### nace-ai/Hy4-flash-MLX-3.8bit 文本生成• 219B• 更新于 38 分钟前 (https://huggingface.co/nace-ai/Hy4-flash-MLX-3.8bit)
- — #### nace-ai/Hy4-MLX-4.6bit 文本生成• 774B• 更新于约 1 小时前 (https://huggingface.co/nace-ai/Hy4-MLX-4.6bit)
相似文章
Hy4-flash 量化版从 70 GB 缩减到 49 GB,可在 64 GB 显存上运行
AtomicChat 发布了腾讯 220B Hy4-flash MoE 模型的 GGUF 量化版本,将内存中的权重缩减至 49 GB,使该模型可以在 64 GB 显存的机器上运行;Engram n-gram 表被拆分为单独的磁盘后端文件,并提供了与 BF16 及腾讯官方量化版本的质量基准对比。
同等体积下最佳的 Hy4-flash 量化模型——采用权重空间量化的 Nace Quants(附赠:用于编程的 70GB DeepSeek v4.1 Flash 量化模型)
nace.ai 发布全新的权重空间量化 GGUF:Hy4-flash 提供两种大小,KL 散度仅为同类量化版本的 1/2 至 1/3;此外还有一个专为编程优化的 71.8 GB DeepSeek V4.1 Flash 量化版本,保留了其在 LiveCodeBench 上的性能。
Hy4的官方1位量化版本??? 👀
本文介绍了Hy4预览模型的官方1位量化构建版本,提供尺寸减小的GGUF文件,以及在修改后的llama.cpp上运行的说明。
@TeksEdge: Unsloth 发布了目前我测试过的最快的 Qwen3.6-27B MTP GGUF。是时候升级了。与之前的 GGUF 相比,Q4/Q6 XL 版本的推理速度快了约 55%…
Unsloth 发布了优化后的 Qwen3.6-27B MTP 模型 GGUF 版本,与前序量化版本相比,推理速度显著提升(在 RTX 5090 上最高可达 114 tok/s)。
Deepseek V4 Flash 2位、3位和4位 GGUFs
DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本,已在 Hugging Face 上发布,可用于 llama.cpp 和 Ollama 等工具的本地推理。