KRAFTON/Raon-1-mini-preview · Hugging Face

来源: https://huggingface.co/KRAFTON/Raon-1-mini-preview Raon-1 mini Raon-1 mini

主页 (https://krafton.ai/en/) Hugging Face (https://huggingface.co/KRAFTON) X (https://x.com/Krafton_AI) 许可证 (https://www.apache.org/licenses/LICENSE-2.0)

Raon-1 mini 是一款 30B-A4B 混合专家（MoE）语言模型，由 KRAFTON AI (https://krafton.ai/en/) 从零开始设计和训练。它在韩语对话和智能体任务方面展现出强大能力。作为 Raon 开源模型系列的一部分，它以 Apache 2.0 许可证发布。

想要无需任何配置就能体验 Raon-1 mini？限时免费在 Raon-1 mini 试用平台 (https://raon-mini.krafton.ai/en) 与其对话。

这是预览版发布，并非最终模型。正式版发布前规格和结果可能会有所变化。

亮点

• 推理能力：内置思考模式，在下方展示的数学和科学基准测试中取得了领先成绩。
• 指令遵循与搜索：在下方展示的指令遵循和搜索基准测试中超越对比模型。
• 多语言能力：在韩语、英语、日语、中文、西班牙语、法语和泰语数据上训练。展现出强大的韩语性能和扎实的英语能力。
• 智能体执行：支持智能体工作流的工具调用，支持 Hermes Agent、Pi 和 OpenCode。
• 投机解码支持：提供 DFlash2 草稿模型以加速投机解码。
• 量化选项：提供 MXFP8 和 NVFP4 格式，其中 NVFP4 可在单张 NVIDIA RTX 5090 GPU（32 GB 显存）上进行推理。

Raon-1 mini 与开源模型对比

模型概览

Raon-1 mini 采用混合混合专家（MoE）架构，由 18 个线性注意力层和 7 个全注意力层组成。

• Raon Delta Attention（RDA）：Raon Delta Attention 将 Kimi Delta Attention 的擦除门和写入门解耦，从而提升长上下文性能。
• Raon-mHC：Raon-mHC 降低了 DeepSeek 流形约束超连接（mHC）的计算开销，加快训练速度。
• 混合布局：25 层中有 18 层是 Raon Delta Attention 层，采用固定大小状态。仅 7 个 MLA 层保留 KV 缓存，每个 token 在 BF16 精度下约占 8 KiB。
• 长上下文：原生支持最长 262,144 个 token 的上下文。
• 稀疏 MoE：每个 token 激活 128 个路由专家中的 6 个加 1 个共享专家，即每个 token 使用 28.8B 总参数中的 4.3B。

基准测试结果

• 红色表示 Raon-1 mini preview 在 MoE 基线模型中表现最佳。

评审和用户模拟器：所有评估均使用 gpt-5.6-luna。红色 = Raon-1 mini preview 在 MoE 组（Raon-1 mini preview、Qwen3.6-35B-A3B、Gemma 4 26B-A4B）中表现最佳。密集模型（Qwen3.8-27B、Muse Glimmer 30B）仅供参考。¹ SWE-Verified：使用 mini-SWE-agent harness 评估。² GDPVal（数据集 (https://huggingface.co/datasets/openai/gdpval)）：指标为评审评分，非 Elo。³ AutomationBench：公开子集，非官方评估集。⁴ GDP.pdf：Artificial Analysis (artificialanalysis.ai) 官方纯文本版本。PDF 已预先进行 OCR 处理；不接受图像输入。⁵ Chatbot Korean（内部）：内部基准测试，衡量聊天机器人在多种情境下的韩语口语能力。未公开发布。

采样参数

Raon-1 mini 为思考模式设计；不建议禁用思考模式。

所有任务共享的设置：

因任务而异的设置：

投机解码

我们与 Raon-1 mini preview 一同发布了 DFlash2 (https://github.com/z-lab/dflash) 草稿模型，通过投机解码加速推理。在单张 NVIDIA B300 上的基准测试中，它实现了最高 2.18× 的输出吞吐量提升（相较于自回归解码）。加速比因硬件和工作负载而异。

吞吐量以输出 token/s 计量，括号内为相对于自回归解码的加速比。接受长度（AL）为每个验证步的平均 token 数，在并发 1 下对所有请求取平均。

AR：自回归解码；C：并发数。吞吐量为总输出 token 数除以端到端墙钟时间。使用 vLLM 0.28.0 和 MXFP8 目标模型进行评估；块大小 8（7 个草稿 token），概率性草稿采样，temperature 1.0，top-p 0.95，top-k 20，启用思考模式，最多生成 4,096 个新 token，每个基准测试 128 条提示词（MT-Bench 为 80 条）。

快速开始

Raon-1 mini 支持通过 Transformers、vLLM、llama.cpp 和 MLX 进行推理。以下示例展示了如何在本地运行模型或启动 OpenAI 兼容的服务器，使用思考模式和上述推荐采样设置。

模型仓库需要申请访问权限。请在本页面申请一次（自动批准；涵盖所有 Raon-1 mini preview 仓库），然后登录，以便以下示例可以下载：

pip install -U huggingface_hub
hf auth login

Transformers 使用 Hugging Face Transformers 加载 Raon-1 mini 并直接在 Python 中生成回复。

安装依赖：

uv venv --python 3.12 --seed
source .venv/bin/activate

pip install \
    "transformers==5.16.1" \
    "accelerate==1.15.0"

然后运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "KRAFTON/Raon-1-mini-preview"

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True,
)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": "Tell me about KRAFTON AI."}
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    enable_thinking=True,
    truncate_history_thinking=False,
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=32768,
    do_sample=True,
    temperature=1.0,
    top_p=0.95,
    top_k=20,
    min_p=0.0,
    repetition_penalty=1.0,
    presence_penalty=1.5,
)

# 思考过程在  处结束；之后是答案。
response = outputs[0][inputs["input_ids"].shape[-1]:].tolist()
think_end = tokenizer.convert_tokens_to_ids("")
split = response.index(think_end) + 1 if think_end in response else 0
reasoning = tokenizer.decode(response[:split], skip_special_tokens=True).strip()
answer = tokenizer.decode(response[split:], skip_special_tokens=True).strip()
print("Reasoning:\n" + reasoning)
print("\nAnswer:\n" + answer)

presence_penalty 由模型的远程代码实现，因为 Transformers 没有内置的 presence penalty。对于编码和数学任务，请将 presence_penalty 设为 0.0。

vLLM（测试版） 使用 vLLM 通过 OpenAI 兼容的 API 提供 Raon-1 mini 服务，支持工具调用和 DFlash2 投机解码。已在 NVIDIA B300 上测试。

从我们的 fork 安装并启动服务器：

VLLM_REF="raon-1-mini-preview"

uv venv --python 3.12
source .venv/bin/activate

VLLM_USE_PRECOMPILED=1 uv pip install \
    "vllm @ git+https://github.com/krafton-ai/vllm.git@${VLLM_REF}"

vllm serve KRAFTON/Raon-1-mini-preview \
    --host 127.0.0.1 \
    --port 8000 \
    --served-model-name Raon-1-mini-preview \
    --max-model-len 262144 \
    --max-num-batched-tokens 16384 \
    --max-num-seqs 128 \
    --gpu-memory-utilization 0.85 \
    --kv-cache-dtype fp8_e4m3 \
    --enable-prefix-caching \
    --spec-method dflash \
    --spec-model KRAFTON/Raon-1-mini-preview-dflash2 \
    --spec-tokens 7 \
    --reasoning-parser raon_1 \
    --enable-auto-tool-choice \
    --tool-call-parser raon_1 \
    --default-chat-template-kwargs '{
      "enable_thinking": true,
      "truncate_history_thinking": false
    }'

首次启动会编译模型的内核，大约需要 10 分钟；后续启动将复用编译结果。要服务 NVFP4 检查点，将命令中的模型替换为 KRAFTON/Raon-1-mini-preview-nvfp4。它可在单张 GPU 上运行（张量并行度为 1）。

从另一个终端发送请求：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
      "model": "Raon-1-mini-preview",
      "messages": [
        {
          "role": "user",
          "content": "Tell me about KRAFTON AI."
        }
      ],
      "max_tokens": 32768,
      "temperature": 1.0,
      "top_p": 0.95,
      "top_k": 20,
      "min_p": 0.0,
      "repetition_penalty": 1.0,
      "frequency_penalty": 0.0,
      "presence_penalty": 1.5,
      "chat_template_kwargs": {
        "enable_thinking": true,
        "truncate_history_thinking": false
      }
    }'

思考过程在 message.reasoning 中返回；答案在 message.content 中。对于编码和数学任务，请将 presence_penalty 设为 0。

llama.cpp 使用 llama.cpp 在终端本地运行 GGUF 检查点，或通过 OpenAI 兼容的 API 提供服务，支持可选的 DFlash2 投机解码。

检查点：KRAFTON/Raon-1-mini-preview-gguf (https://huggingface.co/KRAFTON/Raon-1-mini-preview-gguf)

请从我们的分支构建；上游支持尚在等待中。Windows 用户请参阅构建指南 (https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md)。

git clone -b raon-1-mini-preview \
    https://github.com/krafton-ai/llama.cpp
cd llama.cpp

# Apple Silicon 上请省略 -DGGML_CUDA=ON。
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

启动终端对话。模型将自动下载。

./build/bin/llama-cli \
    -hf KRAFTON/Raon-1-mini-preview-gguf:Q4_K_M \
    --ctx-size 262144 \
    --n-predict 32768 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --repeat-penalty 1.0 \
    --frequency-penalty 0.0 \
    --presence-penalty 1.5 \
    --reasoning on \
    --chat-template-kwargs '{
      "enable_thinking": true,
      "truncate_history_thinking": false
    }'

或启动 OpenAI 兼容的服务器：

./build/bin/llama-server \
    -hf KRAFTON/Raon-1-mini-preview-gguf:Q4_K_M \
    --host 127.0.0.1 \
    --port 8000 \
    --alias Raon-1-mini-preview \
    --ctx-size 262144 \
    --parallel 1 \
    --n-predict 32768 \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --repeat-penalty 1.0 \
    --frequency-penalty 0.0 \
    --presence-penalty 1.5 \
    --reasoning on \
    --chat-template-kwargs '{
      "enable_thinking": true,
      "truncate_history_thinking": false
    }'

对于编码和数学任务，请使用 --presence-penalty 0。

要启用 DFlash2 投机解码，请在上述任一命令中追加以下选项，并在前一行末尾加上 \。草稿模型将自动下载。

--spec-type draft-dflash \
    --spec-draft-n-max 7 \
    --spec-draft-sampling probabilistic

从另一个终端发送请求：

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
      "model": "Raon-1-mini-preview",
      "messages": [
        {
          "role": "user",
          "content": "Tell me about KRAFTON AI."
        }
      ],
      "max_tokens": 32768,
      "temperature": 1.0,
      "top_p": 0.95,
      "top_k": 20,
      "min_p": 0.0,
      "repeat_penalty": 1.0,
      "frequency_penalty": 0.0,
      "presence_penalty": 1.5,
      "chat_template_kwargs": {
        "enable_thinking": true,
        "truncate_history_thinking": false
      }
    }'

思考过程在 message.reasoning_content 中返回；答案在 message.content 中。对于编码和数学任务，请将 presence_penalty 设为 0。

MLX（Apple Silicon） 使用 MLX 在 Apple Silicon 上本地运行 Raon-1 mini，可以直接在 Python 中使用，也可以通过 OpenAI 兼容的 API 提供服务。

检查点：KRAFTON/Raon-1-mini-preview-mlx (https://huggingface.co/KRAFTON/Raon-1-mini-preview-mlx)

使用 Python 3.11+ 安装依赖：

python3 -m venv .venv
source .venv/bin/activate

python -m pip install \
    "mlx==0.32.4" \
    "mlx-lm==0.32.2" \
    "transformers==5.20.1"

在 Python 中运行：

from mlx_lm import load, generate
from mlx_lm.sample_utils import (
    make_logits_processors,
    make_sampler,
)

model, tokenizer = load(
    "KRAFTON/Raon-1-mini-preview-mlx",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": "Tell me about KRAFTON AI."}
]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True,
    truncate_history_thinking=False,
)

response = generate(
    model,
    tokenizer,
    prompt=prompt,
    max_tokens=32768,
    sampler=make_sampler(
        temp=1.0,
        top_p=0.95,
        top_k=20,
        min_p=0.0,
    ),
    logits_processors=make_logits_processors(
        repetition_penalty=1.0,
        frequency_penalty=0.0,
        presence_penalty=1.5,
    ),
)
print(response)

或启动 OpenAI 兼容的服务器：

python -m mlx_lm server \
    --model KRAFTON/Raon-1-mini-preview-mlx \
    --trust-remote-code \
    --host 127.0.0.1 \
    --port 8000 \
    --max-tokens 32768 \
    --chat-template-args '{
      "enable_thinking": true,
      "truncate_history_thinking": false
    }'