Hy3 1Bit 89-93 GB

Reddit r/LocalLLaMA 模型
1-bit quantization llm hy3 model-compression

摘要

Hy3 1-bit量化模型的公告，内存占用89-93 GB。

暂无内容
查看原文

相似文章

Hy4的官方1位量化版本??? 👀

Reddit r/LocalLLaMA

本文介绍了Hy4预览模型的官方1位量化构建版本，提供尺寸减小的GGUF文件，以及在修改后的llama.cpp上运行的说明。

@Xudong07452910: 一个 295B 参数的旗舰大模型，现在单张 96GB 推理显卡就能跑，而且解码速度还提升了 50%。 腾讯混元团队为 Hy3（295B 参数）推出量化版本。1bit 版本（IQ1_M）把权重从 598GB 压缩到 85.5GB，缩小 6.…

X AI KOLs Timeline

腾讯混元团队为295B参数的Hy3大模型推出量化版本，1bit版本可将权重压缩至85.5GB，使单张96GB推理显卡即可部署，解码速度提升约50%，并开源GGUF格式，兼容llama.cpp生态。