IFM/K2-Horizon-MoVA-36B-A4B-GGUF · Hugging Face

来源: https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B-GGUF

此代码库包含 llama.cpp 可用的 IFM/K2-Horizon-MoVA-36B-A4B (https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B) 的 GGUF 版本。模型张量以其原始 BF16 精度存储。GGUF 文件包括分词器元数据和一个与 llama.cpp 兼容的聊天模板。
兼容性: 这些模型需要一个包含 K2 Horizon 架构支持的 llama.cpp 版本。向 llama.cpp 提交的 PR 正在进行中。MBZUAI-IFM 的 llama.cpp 分支位于 https://github.com/MBZUAI-IFM/llama.cpp/tree/model/K2Horizon。

K2-Horizon-MoVA-36B-A4B 是 K2-Horizon 家族中的稀疏成员：一个采用混合价值注意力（MoVA）的混合专家模型，拥有 36B 参数，每个 token 激活 4B 参数。我们已发布最终检查点；中间检查点、数据和训练代码也将一并发布。

K2-Horizon-MoVA-36B-A4B 与开源 MoE、密集和闭源模型的基准测试结果对比

K2-Horizon-MoVA-36B-A4B 亮点

• 以 4B 活跃参数达到前沿水平。 在代理和推理基准测试中，其得分超过了开源密集模型（约 30B 模型规模）和高达其 15 倍规模的 MoE 模型；同时也与闭源前沿模型表现相当（参见基准测试结果）。
• 512K 上下文。 从中期训练阶段起原生支持 524,288 token 的上下文。
• 中间检查点。 将发布中间检查点，以便研究训练过程中能力的变化，而非仅看单一检查点。
• 完全开放。 训练数据/配方和训练代码将公开。

基准测试结果

开源模型 K2-Horizon-MoVA-36B-A4B 与 Nemotron 3 Ultra、Nemotron 3 Super、G9v3-39A5B、Qwen3.6-35B-A3B、Muse Glimmer-30B、Gemma 4 31B-it 的对比

分数以百分比表示。粗体标记每行最高分。各部分遵循 Artificial Analysis Intelligence Index 类别。基线分数来自 Artificial Analysis；Muse Glimmer-30B 采用高推理强度，所有其他开源模型使用其推理模式。

快速开始

部署

vLLM，配方见 recipes.vllm.ai/IFM：

vllm serve IFM/K2-Horizon-MoVA-36B-A4B \
  --revision main \
  --tensor-parallel-size 2 \
  --enable-expert-parallel \
  --trust-remote-code \
  --dtype bfloat16 \
  --max-model-len 131072 \
  --reasoning-parser k2_horizon \
  --tool-call-parser k2_horizon \
  --enable-auto-tool-choice

SGLang，配方已在 2× H200 上验证，详见 SGLang K2 Horizon cookbook：

python3 -m sglang.launch_server \
  --model-path IFM/K2-Horizon-MoVA-36B-A4B \
  --revision main \
  --tp 2 \
  --ep 2 \
  --dtype bfloat16 \
  --attention-backend fa3 \
  --json-model-override-args '{"xllm_source_router_gemm_partitions":2}' \
  --reasoning-parser k2_horizon \
  --tool-call-parser k2_horizon \
  --host 0.0.0.0 --port 30000

API 使用

推荐设置：reasoning_effort="high"，temperature=1.0，top_p=0.95。推理深度通过 chat_template_kwargs 按请求选择。思考过程在 reasoning_content 中返回，答案在 content 中返回。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:30000/v1", api_key="EMPTY")
response = client.chat.completions.create(
    model="IFM/K2-Horizon-MoVA-36B-A4B",
    messages=[{"role": "user", "content": "Explain the result step by step."}],
    temperature=1.0,
    top_p=0.95,
    max_tokens=32768,
    extra_body={"chat_template_kwargs": {"reasoning_effort": "high"}},
)
message = response.choices[0].message
print("Reasoning:", getattr(message, "reasoning_content", None))
print("Answer:", message.content)

Transformers

使用 Transformers 5.15.0、PyTorch 2.13.0、Safetensors 0.8.0 验证。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "IFM/K2-Horizon-MoVA-36B-A4B"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id, device_map="auto", dtype="bfloat16", low_cpu_mem_usage=True, trust_remote_code=True
)

inputs = tokenizer("Explain why long-context evaluation is difficult.", return_tensors="pt").to(model.device)
inputs.pop("token_type_ids", None)
outputs = model.generate(**inputs, max_new_tokens=32768, temperature=1.0, top_p=0.95, do_sample=True)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

最佳实践

1. 推理强度：始终使用 high。 所有报告结果均使用高推理强度。每次请求传递 \{"chat_template_kwargs": \{"reasoning_effort": "high"\}\}。
2. 采样参数。 temperature=1.0，top_p=0.95。
3. 部署。 使用上述经过验证的 SGLang 配方：BF16，TP=2，FlashAttention-3，以及 xllm_source_router_gemm_partitions 覆盖，以保留检查点的路由数值。每个 K2-Horizon 规模的完整配方，包含测量的 H200 延迟和吞吐量，位于 SGLang cookbook 和 vLLM recipe。
4. 解析器。 为聊天启用 k2_horizon 推理解析器，为代理使用添加 k2_horizon 工具调用解析器。对于纯补全式生成，两者均不启用。

引用

@misc{k2horizon2026,
  title  = {Introducing K2 Horizon: Frontier Performance, Radically Open},
  author = {{IFM Team}},
  year   = {2026},
  url    = {https://ifm.ai/blog/k2/},
}