nota-ai/Solar-Open2-250B-Nota-NVFP4 · Hugging Face

来源：https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4
Nota AI (https://www.nota.ai/) 发布了对 Upstage (https://www.upstage.ai/) 的 Solar Open2 250B (https://huggingface.co/upstage/Solar-Open2-250B) 进行 4 比特量化的版本，该版本采用了 Nota AI 专为混合专家（MoE）大语言模型开发的量化技术。

https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4#highlights亮点

• NVFP4 (4 比特浮点，W4A4)——group\_size=16，以 llm‑compressor (compressed-tensors) 格式打包，可直接在 vLLM (https://github.com/vllm-project/vllm) 中提供服务。权重和激活值均量化为 4 比特浮点。

  需要 NVIDIA Blackwell 架构。 NVFP4 依赖于 Blackwell 架构（如 B200 / GB200）中引入的 FP4 张量核心，因此推理必须在 Blackwell 类 GPU 上运行。较早的架构（Hopper、Ada、Ampere）不支持 NVFP4 执行。

• Nota AI 专有 MoE 量化框架。 此版本基于 Nota AI 开发的一系列技术，旨在于 MoE 架构的低比特激进量化下保持模型质量：
  • 一种针对 MoE 的校准数据集构建方法，在 NVIDIA Nemotron 黑客马拉松中获得了所有赛道第一名。
  • DREAM-MoE (https://openreview.net/pdf?id=Wyhqwjl51A) 和 SRA-MoE (https://openreview.net/pdf?id=H0NoX02erJ)，这是 Nota AI 提出的两种量化算法（发表于 ICML 2026 Workshop on AdaptFM），能够保留 MoE 路由决策并在量化过程中对齐专家路由行为。

https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4#license许可证

Solar Open 2 根据 Upstage Solar License (https://huggingface.co/upstage/Solar-Open2-250B/blob/main/LICENSE) 分发。

对衍生 AI 模型的关键要求（使用 Solar Open 2 创建/训练/微调/蒸馏/改进）：

• 命名： 在模型名称前加上“Solar”（例如 Solar-MyModel-v1）。
• 署名： 在相关公开材料中醒目地展示“Built with Solar”。
• 通知： 在衍生模型中包含一份 Upstage Solar License 副本。

https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4#performance性能

https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4#weight-footprint权重占用

https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4#benchmarks基准测试

https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4#quick-start快速开始

该模型以 NVFP4 (compressed-tensors) 格式打包，可直接在 Blackwell 类 GPU 上通过 vLLM 提供服务：

uv venv --python 3.12 --seed solar_open2_venv
source .venv/bin/activate

VLLM_PRECOMPILED_WHEEL_LOCATION="https://github.com/vllm-project/vllm/releases/download/v0.22.0/vllm-0.22.0%2Bcu129-cp38-abi3-manylinux_2_28_x86_64.whl" \
VLLM_USE_PRECOMPILED=1 \
uv pip install --reinstall-package vllm --torch-backend=cu129 \
  "git+https://github.com/UpstageAI/[email protected]"

vllm serve nota-ai/Solar-Open2-250B-Nota-NVFP4 \
  --served-model-name solar-open2-250b \
  --tensor-parallel-size 4 \
  --default-chat-template-kwargs '{"think_render_option":"preserved"}' \
  --reasoning-parser solar_open2 \
  --tool-call-parser solar_open2 \
  --enable-auto-tool-choice \
  --logits-processors vllm.v1.sample.logits_processor.solar_open2:SolarOpen2TemplateLogitsProcessor

• 根据服务环境中可用的 GPU 数量设置 --tensor-parallel-size。
• 查看原始模型卡片以了解提示格式、解析器配置及更多细节。

发送聊天补全请求：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "solar-open2-250b",
    "messages": [
      {"role": "user", "content": "What is Upstage?"}
    ],
    "max_tokens": 131584,
    "temperature": 1.0,
    "top_p": 1.0,
    "reasoning_effort": "high"
  }'

https://huggingface.co/nota-ai/Solar-Open2-250B-Nota-NVFP4#citation引用

@inproceedings{park2026dreammoe,
  title     = {{DREAM-MoE}: Downstream Routing Error-Aware Margin-Preserving Quantization for Mixture-of-Experts Large Language Models},
  author    = {Park, Hancheol and Lee, Geonho and Kim, Tae-Ho},
  booktitle = {ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM)},
  year      = {2026},
  url       = {https://openreview.net/forum?id=Wyhqwjl51A},
}

@inproceedings{lee2026sramoe,
  title     = {{SRA-MoE}: Output-Aware Selective Router Alignment for MoE Quantization},
  author    = {Lee, Geonho and Park, Hancheol and Lee, Seunghyun and Choi, Jungwook and Kim, Tae-Ho},
  booktitle = {ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM)},
  year      = {2026},
  url       = {https://openreview.net/forum?id=H0NoX02erJ},
}