XHToken/Spark-X2.5-4B · Hugging Face

来源：https://huggingface.co/XHToken/Spark-X2.5-4B
Slack (https://join.slack.com/t/tokenspark/shared_invite/zt-432qf8l2f-5~dLyXv8uETr0P0UuC07nw)
Discord (https://discord.gg/kTDE2Hg8aw)
YouTube (https://www.youtube.com/@SparkLLM)
dev.to (https://dev.to/sparkllm)
Bluesky (https://bsky.app/profile/sparkllm.bsky.social)
X (https://x.com/sparkllm)
知乎 (https://www.zhihu.com/people/zhiikz7qh7m)
微信 (https://huggingface.co/XHToken/Spark-X2.5-4B/blob/main/images/xhtoken-wechat.jpg)

本仓库包含以 Hugging Face Transformers 格式存储的后训练模型的权重与配置文件。

https://huggingface.co/XHToken/Spark-X2.5-4B#introduction 简介

我们推出 Spark-X2.5-4B 和 Spark-X2.5-1.7B 两款紧凑型通用语言模型，旨在使强大 AI 更实用、高效且易用。这些模型在包括对话、写作、翻译、推理、编程、工具使用及智能体工作流在内的广泛日常任务中表现卓越，在同等规模开源模型中取得领先成绩。

Spark-X2.5 采用面向效率优化的架构，支持最高 100 万 token 的原生上下文窗口，并覆盖超过 200 种语言。

技术亮点：

• 高效架构与原生百万级上下文窗口：模型采用混合注意力架构，将一个全注意力层与三个滑动窗口注意力层相结合。该设计在显著降低长上下文模型典型计算开销的同时，原生支持最高 100 万 token 的上下文窗口。
• 强大的编程与智能体能力：模型与 Codex、Claude Code、OpenClaw、Hermes 等主流智能体框架深度集成。在日常编程、智能体工作流、推理和指令遵循任务中，其表现在同等规模模型中达到顶尖水平。
• 广泛的硬件与软件兼容性：模型支持 NVIDIA、华为、海光、HOUMO.AI 等多种硬件平台，并兼容 vLLM、SGLang、llama.cpp、MLX 等主流推理框架，可通过 Ollama、LM Studio 等平台快速部署。同时，模型可使用 LLaMA-Factory 等流行微调框架进行定制化训练。在多个硬件平台上，其首 token 时间（TTFT）、吞吐量（TOPT）及整体推理效率均优于同等规模模型。
• 先进的训练算法：模型在华为昇腾集群上训练完成。通过大规模强化学习以及 MOPD 等后训练技术，显著增强了其推理、编程、智能体交互及指令遵循能力。

Spark-X2.5 基准测试对比

https://huggingface.co/XHToken/Spark-X2.5-4B#model-overview 模型概述

对于智能体任务，平衡性能、推理速度与缓存使用量一直是限制模型性能的关键瓶颈。Spark-X2.5 系统地集成并优化了成熟的注意力技术，将滑动窗口注意力（SWA）与混合全注意力架构相结合。这种方法兼顾两种机制的优势，避免了单一结构的局限性，在性能、推理效率和 KV 缓存大小之间实现有效平衡，从而提升了其在真实部署场景中的实用性与有效性。

Spark-X2.5 混合架构

https://huggingface.co/XHToken/Spark-X2.5-4B#training-methods 训练方法

Spark-X2.5 在包含网页、书籍、学术出版物、代码及百科材料的多元化语料库上，使用约 20 万亿 token 进行预训练。我们特别关注数据质量、领域覆盖范围以及不同数据类别的采样权重。通过大量数据混合研究，确定了数学、逻辑、代码及其他高价值领域间的有效平衡。这使模型在获取广泛通用知识的同时，能够在复杂推理和代码生成方面发展更强能力。

长上下文能力通过包含数千亿 token 的专用训练阶段开发，序列长度扩展至 100 万 token。

后训练始于对精心筛选语料库的监督微调。此阶段建立了稳健的指令遵循、结构化生成和任务完成能力，同时为强化学习提供稳定的策略初始化。随后，我们在语言理解、推理、编程、工具增强智能体行为和指令遵循等多个能力领域应用大规模强化学习。此过程产生一组领域专用的教师策略，通过 MOPD 将其互补优势整合为单一可部署模型。

Spark-X2.5 混合架构

https://huggingface.co/XHToken/Spark-X2.5-4B#benchmarks 基准测试

我们对模型进行了评估，并将其与同等规模的领先端侧模型在智能体、编程、数学、通用及知识等多个广泛任务中进行对比。

• * 表示来自公开发布的模型卡/论文的结果，- 表示尚无可用分数。
• 所有评估均在思考模式下进行。Spark-X2.5 推荐的采样参数为：temperature=1.0，top_p=0.95，top_k=-1。
• 高考 2026 包含五项 2026 年中国高考科目（全国Ⅰ卷、全国Ⅱ卷、北京卷、上海卷、天津卷），每科满分均为 150 分。

https://huggingface.co/XHToken/Spark-X2.5-4B#quickstart 快速入门

https://huggingface.co/XHToken/Spark-X2.5-4B#sglang SGLang

https://huggingface.co/XHToken/Spark-X2.5-4B#install-sglang 安装 SGLang

使用跟踪 Spark-X2.5 运行时的预构建镜像：

docker pull lmsysorg/sglang:nightly-dev-cu13-20260827-20621aa1

https://huggingface.co/XHToken/Spark-X2.5-4B#run-inference 运行推理

以下命令可用于在单个 GPU 上启动兼容 OpenAI 的 API 服务器，最大上下文长度为 1,048,576 token。

https://huggingface.co/XHToken/Spark-X2.5-4B#server 服务器

docker run -it \
    --gpus '"device=0"' \
    --ipc=host \
    -p 30000:30000 \
    -v "$MODEL_PATH":/root/Spark-X2.5-4B \
    lmsysorg/sglang:nightly-dev-cu13-20260827-20621aa1 \
    python -m sglang.launch_server \
    --model-path /root/Spark-X2.5-4B \
    --served-model-name spark2.5 \
    --tool-call-parser spark25 \
    --reasoning-parser qwen3 \
    --tp-size 1 \
    --mem-fraction-static 0.8 \
    --context-length 1048576 \
    --chat-template /root/Spark-X2.5-4B/chat_template.jinja \
    --host 0.0.0.0 \
    --port 30000

https://huggingface.co/XHToken/Spark-X2.5-4B#client 客户端

聊天模板和 qwen3 推理解析器默认启用思考模式。要为特定请求禁用思考，请设置 "chat_template_kwargs": {"enable_thinking": false}。

curl -s http://localhost:30000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
  "model": "spark2.5",
  "messages": [
    { "role": "user", "content": "安徽的省会在哪里?" }
  ],
  "max_tokens": 131072,
  "temperature": 1,
  "top_k": -1,
  "top_p": 0.95,
  "repetition_penalty": 1,
  "presence_penalty": 0,
  "frequency_penalty": 0
}'

https://huggingface.co/XHToken/Spark-X2.5-4B#vllm vLLM

https://huggingface.co/XHToken/Spark-X2.5-4B#install-vllm 安装 vLLM

pip install uv
uv venv ~/spark2_5
source ~/spark2_5/bin/activate
git clone https://github.com/XHToken/Spark-plugin.git
cd ./Spark-plugin
uv pip install .

https://huggingface.co/XHToken/Spark-X2.5-4B#server-1 服务器

vllm serve "./Spark-X2.5-4B" \
    --port "30000" \
    --trust-remote-code \
    --served-model-name spark25 \
    --tensor-parallel-size 1 \
    --gpu-memory-utilization 0.7 \
    --enable-prefix-caching \
    --chat-template Spark-X2.5-4B/chat_template.jinja

https://huggingface.co/XHToken/Spark-X2.5-4B#client-1 客户端

curl -s http://127.0.0.1:30000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
  "model": "spark25",
  "messages": [{"role": "user", "content": "安徽的省会在哪里?"}],
  "temperature": 1.0,
  "top_k": -1,
  "top_p": 0.95
}'

https://huggingface.co/XHToken/Spark-X2.5-4B#mlx MLX

Spark-MLX-LLM 在本地运行原始的 Spark-X2.5 Hugging Face 检查点。它支持 Apple silicon GPU、Linux CPU 和 Linux 上的 NVIDIA CUDA。无需进行 GGUF 格式转换。

https://huggingface.co/XHToken/Spark-X2.5-4B#installation 安装

git clone https://github.com/XHToken/Spark-MLX-LLM.git
cd Spark-MLX-LLM
python3 -m venv .venv
source .venv/bin/activate

# Apple silicon
python -m pip install -e .

# Linux cpu
python -m pip install -e '.[cpu]'

# Linux with cuda12
python -m pip install -e '.[cuda12]'

# Linux with cuda13
python -m pip install -e '.[cuda13]'

运行 Spark-X2.5

spark-mlx-generate \
    --device gpu \
    --dtype bfloat16 \
    --model XHToken/Spark-X2.5-4B \
    --prompt "安徽的省会在哪里?" \
    --max-tokens 512 \
    --temp 0

https://huggingface.co/XHToken/Spark-X2.5-4B#ollama Ollama

https://huggingface.co/XHToken/Spark-X2.5-4B#build 构建

git clone https://github.com/XHToken/llama.cpp.git llama.cpp-spark
git clone https://github.com/ollama/ollama.git ollama-spark

cd ollama-spark
export OLLAMA_LLAMA_CPP_SOURCE="$(cd ../llama.cpp-spark && pwd)"
cmake -S . -B build
cmake --build build --parallel 8

https://huggingface.co/XHToken/Spark-X2.5-4B#create-and-run 创建并运行

printf 'FROM /absolute/path/to/your.gguf\n' > ./Modelfile.spark
./ollama serve
./ollama create Spark-X2.5-4B -f ./Modelfile.spark
./ollama run Spark-X2.5-4B

https://huggingface.co/XHToken/Spark-X2.5-4B#lm-studio LM Studio

https://huggingface.co/XHToken/Spark-X2.5-4B#build-1 构建

git clone https://github.com/XHToken/llama.cpp.git llama.cpp-spark
cd llama.cpp-spark
cmake -S . -B build
cmake --build build --parallel 8

https://huggingface.co/XHToken/Spark-X2.5-4B#set-up-lm-studio 设置 LM Studio

1. 关闭 LM Studio。
2. 备份所选运行时目录：/extensions/backends/<backend>/
3. 将 llama.cpp-spark 构建输出复制到所选运行时目录，覆盖现有文件。
4. 将 GGUF 模型放置在以下目录：/models/<author>/<model>/ macOS 上的示例运行时目录： ./build/bin/* -> ~/.lmstudio/extensions/backends/llama.cpp-mac-arm64-apple-metal-advsimd-<version>/

https://huggingface.co/XHToken/Spark-X2.5-4B#run-with-lm-studio 使用 LM Studio 运行

打开“我的模型”，选择 Spark-X2.5 模型，点击“加载”，然后开始新对话。

https://huggingface.co/XHToken/Spark-X2.5-4B#run-with-lms-cli 使用 lms 命令行运行

# 将 `<model_name>` 替换为 `lms ls` 列出的模型
lms load <model_name>
lms chat

https://huggingface.co/XHToken/Spark-X2.5-4B#finetuning 微调

我们建议您使用 Llama-Factory (https://github.com/XHToken/LlamaFactory) 对模型进行微调。

https://huggingface.co/XHToken/Spark-X2.5-4B#license 许可证

Spark-X2.5 模型系列采用 Apache 2.0 许可证 (https://huggingface.co/XHToken/Spark-X2.5-4B/blob/main/LICENSE)。

https://huggingface.co/XHToken/Spark-X2.5-4B#citation 引用

如果您觉得我们的工作有帮助，请随时引用我们。

@misc{sparkx2.5,
    title = {Spark-X2.5 4B&1.7B: Pushing the Limits of Agentic Capabilities in On-Device Models},
    author = {SparkLLM Team},
    year = {2026}
}