腾讯 Hy4(旗舰多模态 MoE,A49B/770B)发布

Reddit r/LocalLLaMA 模型

摘要

腾讯发布了其原生多模态旗舰混合专家(MoE)模型 Hy4 的开放权重。该模型总参数量为 7700 亿,激活参数量为 490 亿,支持 100 万 token 的上下文,同时发布了 GitHub 仓库、GGUF 量化版本、许可证和系统卡。

腾讯发布了 Hy4 的模型权重,这是其原生多模态旗舰 MoE 模型(总参数量 7700 亿 / 激活参数量 490 亿,上下文长度 100 万)。GitHub:https://github.com/Tencent-Hunyuan/Hy4 权重:https://huggingface.co/tencent/Hy4 GGUF:https://huggingface.co/AngelSlim/Hy4-GGUF 许可证:https://huggingface.co/tencent/Hy4/blob/main/LICENSE 系统卡:https://hy.tencent.ai/Hy4\_system\_card.pdf
查看原文

相似文章

@heyshrutimishra:腾讯刚刚把一个 770B 模型的权重上传到了 Hugging Face,可免费下载。它叫 hy4,是他们新的旗舰模型。4…

X AI KOLs Following

腾讯发布了 HY4 的开放权重,这是一个 770B 多模态旗舰模型,每个 token 激活 49B 参数,上下文长度为 1M token,包括 instruct、FP8 和 base 三种变体。模型卡片还描述了 HY4 自主训练出一个变体并超越了他们的基线,这与 DeepSeek、Kimi 和 GLM 的发布一起,进一步缩小了开放与闭源之间的差距。

腾讯/Hy4-preview 770B-A49B 模型权重发布

Reddit r/LocalLLaMA

腾讯发布Hy4-preview,这是一款新的旗舰AI模型,采用混合专家架构,总参数为770B,每个token激活49B参数,具备如Gated DeepSeek Sparse Attention和identity Hyper-Connections等先进技术。

tencent/Hy4

Hugging Face Models Trending

腾讯 Hy 团队发布了新一代 MoE 旗舰模型 Hy4,总参数量达 770B(每 token 激活 49B),支持文本、图像和视频理解,采用 Gated DeepSeek Sparse Attention、IndexCache,并内置 DFly2 草稿模型以实现投机解码。

Hy4 预览版

Product Hunt

Tencent 的 Hy4 Preview 是一款 770B 开源 MoE 模型,具有 1M 上下文长度,旨在自主处理编码、游戏开发和复杂文档分析。