腾讯将 Hy4-preview 从 1.5TB 压缩至约 200GB GGUF，并保持约 98% 的性能。

Reddit r/LocalLLaMA 模型
model-compression tencent ai-model gguf efficiency performance

摘要

腾讯已将 Hy4-preview 模型从 1.5TB 压缩至约 200GB GGUF 格式，同时保持了约 98% 的性能。

暂无内容
查看原文

相似文章

腾讯/Hy4-preview 770B-A49B 模型权重发布

Reddit r/LocalLLaMA

腾讯发布Hy4-preview，这是一款新的旗舰AI模型，采用混合专家架构，总参数为770B，每个token激活49B参数，具备如Gated DeepSeek Sparse Attention和identity Hyper-Connections等先进技术。

Hy4 预览版

Product Hunt

Tencent 的 Hy4 Preview 是一款 770B 开源 MoE 模型，具有 1M 上下文长度，旨在自主处理编码、游戏开发和复杂文档分析。

@Xudong07452910: 一个 295B 参数的旗舰大模型，现在单张 96GB 推理显卡就能跑，而且解码速度还提升了 50%。 腾讯混元团队为 Hy3（295B 参数）推出量化版本。1bit 版本（IQ1_M）把权重从 598GB 压缩到 85.5GB，缩小 6.…

X AI KOLs Timeline

腾讯混元团队为295B参数的Hy3大模型推出量化版本，1bit版本可将权重压缩至85.5GB，使单张96GB推理显卡即可部署，解码速度提升约50%，并开源GGUF格式，兼容llama.cpp生态。