@AdinaYakup: RedNote 发布不频繁，但每个都很扎实 https://huggingface.co/dots-studio/dots3-note-prev…

X AI KOLs Timeline 模型
ai-model multimodal mixture-of-experts open-weight large-context hugging-face

摘要

dots3-note Preview 是一个多模态 Mixture-of-Experts AI模型，具有280B总参数和16B激活参数，支持多达512K token上下文，在Hugging Face上作为开源权重模型发布。

RedNote 发布不频繁，但每个都很扎实 https://huggingface.co/dots-studio/dots3-note-prev…
查看原文
查看缓存全文

缓存时间: 2026/09/23 12:08

RedNote 发布不频繁，但每次都很扎实 https://huggingface.co/dots-studio/dots3-note-prev…

dots-studio/dots3-note-prev · Hugging Face

来源：https://huggingface.co/dots-studio/dots3-note-prev 中文 (https://huggingface.co/dots-studio/dots3-note-prev/blob/main/README_CN.md) | English

dots 标志

dots3-note 预览版

🌐 技术博客 (https://studio.dots.ai/dots/dots3-en.html) | 📄 完整报告（即将发布）

在 OpenRouter 上免费试用 dots3-note 预览版：dots3-note (https://openrouter.ai/dots-studio/dots-3-note-preview:free)

https://huggingface.co/dots-studio/dots3-note-prev#table-of-contents目录

https://huggingface.co/dots-studio/dots3-note-prev#model-introduction模型介绍

dots3-note 预览版是 dots3 系列中首个开放权重的模型。它是一个混合专家模型，总参数量 2800 亿，激活参数量 160 亿，支持最长 512K 的上下文长度。该模型能理解文本、图像、视频和音频，并生成文本输出。

dots3-note 预览版针对广泛任务进行了优化，包括：

  • 通用知识与指令遵循；
  • 数学与逻辑推理；
  • 工具使用与多步骤智能体工作流；
  • 需要探索、记忆更新和适应的交互式任务；
  • 代码生成与基于代码的问题解决；
  • 图像、文档、图表、音频和视频理解；
  • 长上下文信息处理。

dots3 系列旨在包含在能力、延迟和推理成本之间具有不同权衡的模型。dots3-note 预览版是该系列中最轻量级的成员。

https://huggingface.co/dots-studio/dots3-note-prev#model-overview模型概述

属性值
架构多模态混合专家模型
总参数量2800 亿
激活参数量160 亿
MTP1 个共享层，11.3 亿
层数1 层稠密 + 45 层混合专家
隐藏维度5120
FFN 隐藏维度13824（稠密层），1536（每个专家）
专家数256 个路由专家 + 1 个共享专家，Top-8
注意力13 个 DSA + 33 个 SWA（约 1:3）
DSATop-2048
上下文长度512K
词汇表大小152K
视觉编码器混合专家 ViT，总参数 70 亿，激活 12 亿
音频编码器稠密模型，800M
支持精度BF16, FP8
输入文本，图像，视频，音频
输出文本

https://huggingface.co/dots-studio/dots3-note-prev#evaluation-results评估结果

https://huggingface.co/dots-studio/dots3-note-prev#general-reasoning-and-agent通用推理与智能体

通用推理与智能体评估结果 (https://huggingface.co/dots-studio/dots3-note-prev/blob/main/assets/bench_en1.png)

https://huggingface.co/dots-studio/dots3-note-prev#multimodal-understanding多模态理解

多模态理解评估结果 (https://huggingface.co/dots-studio/dots3-note-prev/blob/main/assets/bench_en2.png)

https://huggingface.co/dots-studio/dots3-note-prev#model-links模型链接

https://huggingface.co/dots-studio/dots3-note-prev#quickstart快速开始

推荐：使用 SGLang 或 vLLM 在单个 8 卡节点上提供 FP8 检查点服务。

from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="dots3-note-prev",
    messages=[
        {"role": "user", "content": "你好！请简单介绍一下你自己。"},
    ],
    temperature=1.0,
    top_p=0.95,
    max_tokens=256,
    # 设置 enable_thinking=True 以启用推理；False 返回直接响应。
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)

对于多模态请求，请使用以下公共示例之一替换 messages：

examples = {
    "image": [
        {"type": "image_url", "image_url": {"url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/cats.png"}},
        {"type": "text", "text": "这张图片里有多少只猫？"},
    ],
    "audio": [
        {"type": "audio_url", "audio_url": {"url": "https://huggingface.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/mary_had_lamb.mp3"}},
        {"type": "text", "text": "转录这首童谣。"},
    ],
    "video": [
        {"type": "video_url", "video_url": {"url": "https://huggingface.co/datasets/merve/vlm_test_images/resolve/main/concert.mp4"}},
        {"type": "text", "text": "描述一下演出内容和能听到的声音。"},
    ],
}
messages = [{"role": "user", "content": examples["image"]}]

视频输入在可用时包含其音轨。

https://huggingface.co/dots-studio/dots3-note-prev#deployment部署

以下命令针对单个 8 卡节点上的 FP8。BF16 需要更多内存。请根据可用内存、并发量和输入模态调整上下文长度。

vLLM (https://recipes.vllm.ai/dots-studio/dots3-note-prev) main 分支已提供原生支持。Transformers #47844 (https://github.com/huggingface/transformers/pull/47844) 和 SGLang #33829 (https://github.com/sgl-project/sglang/pull/33829) 仍在审查中；在合并之前，请使用下方 PR 修订版。

https://huggingface.co/dots-studio/dots3-note-prev#transformersTransformers

首先安装与 NVIDIA 驱动程序兼容的 PyTorch 和 torchvision 版本。对于音频和视频，还需安装与 PyTorch 兼容的 torchcodec（包含在下方）和通过系统包管理器安装的 FFmpeg。然后安装 Transformers #47844 (https://github.com/huggingface/transformers/pull/47844)：

pip install accelerate pillow torchcodec kernels==0.16.0 "transformers @ git+https://github.com/huggingface/transformers.git@refs/pull/47844/head"

运行最小本地推理：

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "dots-studio/dots3-note-prev-fp8"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype="auto", device_map="auto")

messages = [
    {"role": "user", "content": "你好！请简单介绍一下你自己。"},
]
inputs = processor.tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True,
    enable_thinking=False,
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=128)
print(processor.decode(outputs[0, inputs.input_ids.shape[1] :], skip_special_tokens=True))

对于多 GPU OpenAI 兼容服务，请使用 SGLang 或 vLLM。

https://huggingface.co/dots-studio/dots3-note-prev#sglangSGLang

推荐：使用发布镜像 lmsysorg/sglang:dev-dots3-note。完整的单节点配置和调优说明请参见 Dots3-Note 食谱。源码支持在 SGLang #33829 中跟踪。

Docker（镜像在首次运行时从 Hugging Face 下载检查点）：

docker run --gpus all --ipc=host -p 8000:8000 \
  lmsysorg/sglang:dev-dots3-note \
  sglang serve \
    --model-path dots-studio/dots3-note-prev-fp8 \
    --served-model-name dots3-note-prev \
    --host 0.0.0.0 \
    --port 8000 \
    --context-length 524288 \
    --enable-dp-attention \
    --dp-size 8 \
    --tp-size 8 \
    --ep-size 8 \
    --moe-dense-tp-size 1 \
    --page-size 64 \
    --trust-remote-code \
    --attention-backend fa3 \
    --moe-a2a-backend deepep \
    --enable-multimodal \
    --speculative-algorithm NEXTN \
    --speculative-num-steps 3 \
    --speculative-eagle-topk 1 \
    --speculative-num-draft-tokens 4 \
    --speculative-draft-model-path dots-studio/dots3-note-prev-fp8

或者从源码/PR安装并在本地运行相同的 sglang serve 参数。--attention-backend fa3 设置了预填充、解码以及（启用推测解码时的）草稿注意力。MTP/NEXTN（--speculative-algorithm NEXTN 及相关标志）是可选的，可以将 TPOT 降低超过 50%。目前尚不支持预填充 CUDA 图。

可选功能：

# 仅加载语言模型
--language-only

# 启用 OpenAI 兼容的工具调用
--tool-call-parser dots

https://huggingface.co/dots-studio/dots3-note-prev#vllmvLLM

vLLM (https://recipes.vllm.ai/dots-studio/dots3-note-prev) main 分支已提供原生 dots3-note 预览版支持。在正式发布版本中包含之前，请使用最新的 nightly 构建。

以下示例在八个 NVIDIA H100 GPU 上部署 FP8 检查点，TP=8，EP=8：

vllm serve dots-studio/dots3-note-prev-fp8 \
  --served-model-name dots3-note-prev \
  --host 0.0.0.0 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --moe-backend deep_gemm \
  --max-model-len 262144

可选功能：

# 仅加载语言模型
--language-model-only

# 启用三 token MTP 推测解码
--speculative-config '{"method":"mtp","num_speculative_tokens":3}'

# 启用 OpenAI 兼容的自动工具调用
--enable-auto-tool-choice --tool-call-parser dots

https://huggingface.co/dots-studio/dots3-note-prev#benchmark-appendix基准测试附录

通用推理与智能体基准测试附录 (https://huggingface.co/dots-studio/dots3-note-prev/blob/main/assets/benchmark_appendix_en_reasoning.png)

多模态基准测试附录 (https://huggingface.co/dots-studio/dots3-note-prev/blob/main/assets/benchmark_appendix_en_multimodal.png)

https://huggingface.co/dots-studio/dots3-note-prev#license许可证

版权 (c) 2026 Xiaohongshu。

由 dots studio 开发和发布。

本仓库中的 dots3-note 预览版模型权重和建模代码在 Apache License, Version 2.0 许可证下授权。

详见 LICENSE 文件。

Transformers, SGLang, vLLM 及其他第三方软件需遵守其各自的许可证。

https://huggingface.co/dots-studio/dots3-note-prev#contact-us联系我们

如有问题和反馈，请通过以下方式联系我们：

dots3-note 预览版由 dots studio 开发和发布。

ARC Prize (@arcprize)： 来自 @dotsstudioai 的 Dots3-Note Preview 在 ARC-AGI（已验证）上：

  • ARC-AGI-2：76.8%，$0.08/任务

Dots3-Note Preview 在我们的已验证 ARC-AGI-2 排行榜上创下了开放权重模型的新 SOTA 分数。

相似文章

dots-studio/dots3-note-prev · Hugging Face

Reddit r/LocalLLaMA

dots-studio 发布 dots3-note 预览版，这是 dots3 系列中首个开放权重模型：一个拥有 2800 亿参数的多模态 MoE，激活参数为 160 亿，支持 512K 上下文，并能理解文本、图像、视频和音频。