@atomic_chat_hq: 在本地运行1位Hy3，速度比其API快2.2倍，质量相同！我们为两个模型分配了相同的任务并比较…

X AI KOLs Following 模型
1-bit local-inference gguf hy3 tencent open-source performance

摘要

腾讯的Hy3 295B模型现已提供1位和4位GGUF格式，相比云端API，本地推理速度提升2.2倍，同时保持质量，如在4块RTX 5090显卡（128GB显存）上所展示的。

1位Hy3在本地运行，速度比其API快2.2倍，质量相同！ 我们为两个模型分配了相同的任务，并比较了单次输出。1位Hy3 295B GGUF（92GB）在4块RTX 5090显卡（128GB显存）上本地运行，与云端API上的同款Hy3进行对比。 任务： - Flappy Bird - Arkanoid - Snake 输出结果： Hy3 1位本地：76.9K tokens，15.5分钟 Hy3云端API：75.1K tokens，34.3分钟 1位版本的游戏画面与API版本相同。小鸟飞过管道，砖块碎裂，蛇吃东西并成长。没有出现卡顿或崩溃。两个模型甚至犯了同样的错误：蛇可以穿过自身，游戏不会结束。从1位本地运行中获得这种质量真是太疯狂了！ 在Atomic Chat中只需两次点击即可运行Hy3 GGUF。
查看原文
查看缓存全文

缓存时间: 2026/07/16 04:03

1-bit Hy3 本地运行速度比其API快2.2倍，且质量相同！

我们为两个模型分配了相同任务，并对比了单次输出结果。1-bit Hy3 295B GGUF（92GB）在4块RTX 5090（128GB显存）上本地运行，与云端API上的同一Hy3进行对比。

任务：

  • Flappy Bird（像素鸟）
  • Arkanoid（打砖块）
  • Snake（贪吃蛇）

输出结果： Hy3 1-bit本地：76.9K tokens，15.5分钟 Hy3云端API：75.1K tokens，34.3分钟

1-bit版本的游戏效果与API版本完全一致：鸟儿穿管、砖块碎裂、蛇吃食物并成长。无任何卡顿或崩溃。两个模型甚至犯了一样的错误：蛇可以穿过自己身体而不结束游戏。1-bit本地运行能达到这种质量，简直不可思议！

在Atomic Chat中点击2次即可运行Hy3 GGUF。

腾讯混元（@TencentHunyuan）： 我们刚刚发布了Hy3的1-bit和4-bit版本，这是一个旗舰级295B模型，可在单张GPU上运行。👌

使用llama.cpp运行Hy3，启用MTP，即可在显著降低的硬件配置上体验强大多样的智能能力。🚀🚀🚀

期待看到你的创造。

#Hy3 #Hy

相似文章

@Xudong07452910: 一个 295B 参数的旗舰大模型，现在单张 96GB 推理显卡就能跑，而且解码速度还提升了 50%。 腾讯混元团队为 Hy3（295B 参数）推出量化版本。1bit 版本（IQ1_M）把权重从 598GB 压缩到 85.5GB，缩小 6.…

X AI KOLs Timeline

腾讯混元团队为295B参数的Hy3大模型推出量化版本，1bit版本可将权重压缩至85.5GB，使单张96GB推理显卡即可部署，解码速度提升约50%，并开源GGUF格式，兼容llama.cpp生态。