Hy3 1Bit 89-93 GB

Reddit r/LocalLLaMA 2026/07/15 23:28 模型

1-bit quantization llm hy3 model-compression

摘要

Hy3 1-bit量化模型的公告，内存占用89-93 GB。

暂无内容

查看原文

相似文章

X AI KOLs Timeline

腾讯混元团队为295B参数的Hy3大模型推出量化版本，1bit版本可将权重压缩至85.5GB，使单张96GB推理显卡即可部署，解码速度提升约50%，并开源GGUF格式，兼容llama.cpp生态。

X AI KOLs Following

腾讯的Hy3 295B模型现已提供1位和4位GGUF格式，相比云端API，本地推理速度提升2.2倍，同时保持质量，如在4块RTX 5090显卡（128GB显存）上所展示的。

Reddit r/LocalLLaMA

腾讯 Hy3 295B MoE 模型和 NVIDIA 支持音频的 30B MoE 模型的 GGUF 量化版本已发布，附带详细的基准测试、imatrix 校准和完整的可复现数据。

X AI KOLs Following

0xSero 发布了腾讯 Hy3-preview 模型的 FP8 和 NVFP4 量化版本，使其能够在使用完整上下文的情况下在 256GB 显存的设备上运行。

Reddit r/LocalLLaMA

Hy3 模型现已通过拉取请求在 llama.cpp 中得到支持，并提供 GGUF 量化版本。早期测试显示，在高端硬件上，Q2_K 模型能以 10-11 t/s 的速度生成连贯输出。