我们更新了 Hy4-flash 的量化版本:发布 MLX 版本,并改进 GGUF 版本

Reddit r/LocalLLaMA 模型

摘要

nace-ai 更新了其针对腾讯 Hy4 模型系列的量化合集,新增了 MLX 版本,并为 Hy4-flash 和规模更大的 Hy4 模型提供了多种位宽(3.1 位至 4.6 位)的改进版 GGUF 量化模型。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/11/20 15:48

Hy4 系列 Nace 量化模型 - nace-ai 合集

来源:https://huggingface.co/collections/nace-ai/hy4-family-nace-quants 更新于约 2 小时前

由 Nace 量化的腾讯 Hy4 模型:GGUF 和 MLX\。

点赞 - (https://huggingface.co/login?next=%2Fcollections%2Fnace-ai%2Fhy4-family-nace-quants)

  • — #### nace-ai/Hy4-flash-GGUF 文本生成• 219B• 更新于 3 分钟前 • 1.4k • 8 (https://huggingface.co/nace-ai/Hy4-flash-GGUF)
  • — #### nace-ai/Hy4-flash-MLX-4bit 文本生成• 220B• 更新于 29 分钟前 • 10 • 1 (https://huggingface.co/nace-ai/Hy4-flash-MLX-4bit)
  • — #### nace-ai/Hy4-flash-MLX-4.6bit 149B• 更新于 38 分钟前 • 1 (https://huggingface.co/nace-ai/Hy4-flash-MLX-4.6bit)
  • — #### nace-ai/Hy4-flash-MLX-3.1bit 文本生成• 19B• 更新于 38 分钟前 (https://huggingface.co/nace-ai/Hy4-flash-MLX-3.1bit)
  • — #### nace-ai/Hy4-flash-MLX-3.8bit 文本生成• 219B• 更新于 38 分钟前 (https://huggingface.co/nace-ai/Hy4-flash-MLX-3.8bit)
  • — #### nace-ai/Hy4-MLX-4.6bit 文本生成• 774B• 更新于约 1 小时前 (https://huggingface.co/nace-ai/Hy4-MLX-4.6bit)

相似文章

Hy4-flash 量化版从 70 GB 缩减到 49 GB,可在 64 GB 显存上运行

Reddit r/LocalLLaMA

AtomicChat 发布了腾讯 220B Hy4-flash MoE 模型的 GGUF 量化版本,将内存中的权重缩减至 49 GB,使该模型可以在 64 GB 显存的机器上运行;Engram n-gram 表被拆分为单独的磁盘后端文件,并提供了与 BF16 及腾讯官方量化版本的质量基准对比。

Hy4的官方1位量化版本??? 👀

Reddit r/LocalLLaMA

本文介绍了Hy4预览模型的官方1位量化构建版本,提供尺寸减小的GGUF文件,以及在修改后的llama.cpp上运行的说明。

Deepseek V4 Flash 2位、3位和4位 GGUFs

Reddit r/LocalLLaMA

DeepSeek V4 Flash 的 2位、3位和4位精度 GGUF 量化版本,已在 Hugging Face 上发布,可用于 llama.cpp 和 Ollama 等工具的本地推理。