upstage/Solar-Open2-250B · Hugging Face

来源：https://huggingface.co/upstage/Solar-Open2-250B Solar Open 2 (https://huggingface.co/upstage/Solar-Open2-250B/blob/main/assets/solar-open2.gif)

Solar Open 2

Solar Open 2 是 Upstage 推出的 250B-A15B 开放权重大语言模型，专为智能体使用场景设计，例如办公效率、文档密集型工作和编码。其具有线性注意力的混合注意力专家混合（MoE）架构即使在长上下文设置下也能实现高效推理。

技术报告 (https://huggingface.co/upstage/Solar-Open2-250B/blob/main/Solar_Open_2_Tech_Report.pdf)|博客 (https://www.upstage.ai/blog/en/solar-open-2?utm_source=hf&utm_medium=referral&utm_campaign=so2-launch&utm_content=modelcard)|Upstage 官网 (https://www.upstage.ai/)|试用演示（~7/31） (https://open2-beta.upstage.ai/)

亮点

Highlights_en (https://huggingface.co/upstage/Solar-Open2-250B/blob/main/assets/Highlights_en.png)Highlights_kr (https://huggingface.co/upstage/Solar-Open2-250B/blob/main/assets/Highlights_kr.png)

• **智能体专家：**专为智能体工作流程打造——工具调用、多步推理和端到端任务执行。在智能体基准测试中与最强的开放权重模型相媲美。
• **极低推理成本：**一个 250B 参数的 MoE，每个 token 仅激活 15B，基于混合注意力堆栈构建，该堆栈交替使用三个线性注意力层和一个 softmax 注意力层——以小型模型的推理成本提供大型模型的容量。
• **100万 token 上下文：**线性注意力层在其循环状态中固有地编码 token 顺序，因此完全移除了位置编码（NoPE），解除了 RoPE 外推限制。48 层中只有 12 层保留 KV 缓存，将长上下文内存保持在大约相同形状的全 softmax 模型的四分之一。
• **低成本高效训练：**通过从 Solar Open 1 (102B) 选择性权重转移初始化——仅 2.3% 的权重在架构变更后保留，其余全部随机初始化——从而提高了起点，加速了 250B 规模的早期收敛。
• **多语言：**英语、韩语和日语。

模型概览

性能表现

英文基准测试

韩文基准测试

† 内部基准测试。

快速开始

以下示例假设使用 8 块 GPU，每块至少 141 GB 内存，例如 NVIDIA H200 或 B200 GPU。实际内存需求取决于上下文长度和服务设置。

Transformers

使用带有原生 Solar Open 2 支持的 Upstage Transformers 分支 (https://github.com/upstageAI/transformers/tree/v5.14.1-solar-open2) 进行本地实验。对于生产环境服务，我们推荐使用 vLLM。

安装依赖：

在运行此命令之前，请为您的平台安装支持 CUDA 的 PyTorch 构建。fla-core 启用了优化的 KDA 内核；没有它，Transformers 会使用速度慢得多的 PyTorch 回退。

python -m pip install -U \
  "git+https://github.com/upstageAI/[email protected]" \
  "fla-core[cuda]>=0.5.1" \
  accelerate einops

运行模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "upstage/Solar-Open2-250B"

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=False,
)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype=torch.bfloat16,
    trust_remote_code=False,
)
model.eval()

messages = [
    {"role": "user", "content": "What is Upstage?"},
]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    reasoning_effort="high",
    think_render_option="preserved",
)
input_device = model.get_input_embeddings().weight.device
model_inputs = tokenizer(prompt, return_tensors="pt").to(input_device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=32768,
    do_sample=True,
    temperature=1.0,
    top_p=1.0,
)

new_token_ids = generated_ids[0, model_inputs.input_ids.shape[-1] :].tolist()
think_end_id = tokenizer.convert_tokens_to_ids("<|think:end|>")

if think_end_id in new_token_ids:
    # 在最后一个 <|think:end|> token 之后立即分割。
    answer_start = len(new_token_ids) - new_token_ids[::-1].index(think_end_id)
else:
    # 没有结束标记通常意味着生成在模型推理时停止了。
    answer_start = len(new_token_ids)

reasoning = tokenizer.decode(
    new_token_ids[:answer_start],
    skip_special_tokens=True,
).strip()
answer = tokenizer.decode(
    new_token_ids[answer_start:],
    skip_special_tokens=True,
).strip()

print("[reasoning]", reasoning)
print("[answer]", answer)

如果答案为空白，则生成可能在推理块结束前达到了 max_new_tokens。请增加 max_new_tokens 并重试。

使用 vLLM 提供服务（推荐）

选项 1：Docker

以下镜像基于 vLLM v0.22.0 和 CUDA 12.9。

docker run --rm --gpus all --ipc=host \
  -p 8000:8000 \
  -v "${HF_HOME:-$HOME/.cache/huggingface}:/root/.cache/huggingface" \
  upstage/vllm-solar-open2 \
  upstage/Solar-Open2-250B \
  --served-model-name solar-open2-250b \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --moe-backend triton \
  --default-chat-template-kwargs '{"think_render_option":"preserved"}' \
  --reasoning-parser solar_open2 \
  --tool-call-parser solar_open2 \
  --enable-auto-tool-choice \
  --logits-processors vllm.v1.sample.logits_processor.solar_open2:SolarOpen2TemplateLogitsProcessor

选项 2：从源码安装

安装 Upstage fork (https://github.com/UpstageAI/vllm/tree/v0.22.0-solar-open2)，同时复用匹配的 vLLM v0.22.0 CUDA 12.9 wheel：

pip install -U uv

VLLM_PRECOMPILED_WHEEL_LOCATION="https://github.com/vllm-project/vllm/releases/download/v0.22.0/vllm-0.22.0%2Bcu129-cp38-abi3-manylinux_2_28_x86_64.whl" \
VLLM_USE_PRECOMPILED=1 \
uv pip install --reinstall-package vllm --torch-backend=cu129 \
  "git+https://github.com/UpstageAI/[email protected]"

启动服务器：

vllm serve upstage/Solar-Open2-250B \
  --served-model-name solar-open2-250b \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --moe-backend triton \
  --default-chat-template-kwargs '{"think_render_option":"preserved"}' \
  --reasoning-parser solar_open2 \
  --tool-call-parser solar_open2 \
  --enable-auto-tool-choice \
  --logits-processors vllm.v1.sample.logits_processor.solar_open2:SolarOpen2TemplateLogitsProcessor

发送聊天补全请求：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "solar-open2-250b",
    "messages": [
      {"role": "user", "content": "What is Upstage?"}
    ],
    "max_tokens": 131584,
    "temperature": 1.0,
    "top_p": 1.0,
    "reasoning_effort": "high"
  }'

量化版本

NotaAI (https://huggingface.co/nota-ai) 的官方量化模型可用于在更小的 GPU 配置上部署：

• Solar-Open2-250B-Nota-INT4-GlobalPruned (https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-INT4-GlobalPruned)
• Solar-Open2-250B-Nota-NVFP4 (https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4)
• Solar-Open2-250B-Nota-INT4 (https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-INT4)

功能特性

推理能力

对于推理，使用 `reasoning_effort=“