llama.cpp: Hy3 PR 与 GGUFs
摘要
Hy3 模型现已通过拉取请求在 llama.cpp 中得到支持，并提供 GGUF 量化版本。早期测试显示，在高端硬件上，Q2_K 模型能以 10-11 t/s 的速度生成连贯输出。
该模型昨日刚发布，尚处于初期阶段，但似乎已经可以运行。耶！使用 Q2_K 模型，在配备 96GB DDR5 内存的 5090 + Zen 4 上，能以约 10-11 t/s 的速度生成连贯输出。https://github.com/ggml-org/llama.cpp/pull/25395 https://huggingface.co/satgeze/Hy3-1M-GGUF 感谢 PR 作者 satindergrewal！
相似文章
模型：由 satindergrewal 添加 Hy3 (hy_v3) 支持及 MTP 推测解码 · 拉取请求 #25395 · ggml-org/llama.cpp
此拉取请求为 llama.cpp 添加了对 Hy3 (hy_v3) 模型的支持及 MTP 推测解码，从而实现了该架构的高效推理。
这是我的 llama.cpp NVFP4/MXFP6 GGUF 量化工具
作者介绍了一款开源的 GGUF 量化工具，用于 llama.cpp，能够创建 NVFP4 和 MXFP6 量化模型，并采用 RSF、张量提升、动态量化等先进技术，质量优于现有方法（如 ModelOpt）。
AngelSlim/Hy3-GGUF
AngelSlim/Hy3-GGUF 是一个用于在 llama.cpp 上量化和部署 Hy3 大语言模型的工具包，具有 MTP 自我推测解码和思考/工具调用解析器，以实现高效推理。
GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF
MiniCPM5-1B-Claude-Opus-Fable5-Thinking 模型的 GGUF 量化版本已在 Hugging Face 上发布，并附有 llama.cpp、vLLM 和 Ollama 的使用说明。
[llama.cpp] 非对称 KV q8/q4 缓存：当前注意事项及 GGML 仓库中的讨论
讨论了在 llama.cpp 中使用非对称 KV 缓存量化时的注意事项，其中不匹配的 q8/q4 类型会导致提示处理在 CPU 而非 GPU 上进行，并提出了通过编译标志进行修复的方案。