sensenova/SenseNova-Loop-9B-Preview · Hugging Face

来源：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview

English | 简体中文 (https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview/blob/main/README_CN.md)

技术报告：TBD (https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview#models-and-resources)SenseNova-Loop-9B-Preview on Hugging Face (https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview)GitHub 仓库 (https://github.com/OpenSenseNova/SenseNova-Loop)Apache 2.0 许可证 (https://github.com/OpenSenseNova/SenseNova-Loop/blob/main/LICENSE)sensenova_loop 架构 (https://github.com/OpenSenseNova/SenseNova-Loop/blob/main/config.json)

循环 Transformer 架构，采用共享循环块和 mHC 残差流。(https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview/blob/main/assets/loop-mhc-overview.jpg)

📢 新闻

• \[2026\.10\.30\] 我们发布 SenseNova-Loop-9B-Preview，一个面向长上下文和智能体工作流的循环多模态模型。

🚀 SenseNova-Loop-9B-Preview

🎬 精选展示（由 Raccoon Work 创作）

动态设计

动态设计 (https://huggingface.co/sensenova/examples/ink-journey/ink-journey-demo.mp4)

《奥德赛》：一段动画归乡之旅。

PPT 设计

教师节演示文稿：第 1、3、6 页。(https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview/blob/main/examples/teacher-day/teacher-day-horizontal.jpg)

冰岛演示文稿：第 1、8、14 页。(https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview/blob/main/examples/iceland/iceland-horizontal-v2.jpg)

巧克力演示文稿：第 1、4、5 页。(https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview/blob/main/examples/chocolate/chocolate-horizontal.jpg)

数据分析

月球任务模拟，包含轨道轨迹和遥测数据。(https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview/blob/main/examples/moon-simulation/moon-simulation.gif)

能源分析：温度、用电量和高峰时段购电。(https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview/blob/main/examples/energy-analysis/energy-analysis.png)

概述

SenseNova-Loop-9B-Preview 是一个面向长上下文和智能体工作流开发的多模态语言模型。它接受文本和图像输入，生成文本输出，适用于文档理解、代码编写以及与外部工具交互等应用场景。

该模型结合了循环解码器和双流流形约束超连接（mHC）。一组连续的解码器层以共享权重执行两次，而学习到的映射则在循环段中的两个残差流之间管理信息流动。这些组件共同提供了一条更深的执行路径，同时无需重复存储循环块的参数。

已记录的训练方案结合了长序列、多模态输入和监督任务轨迹，最大训练序列长度为 262,144 个 token。为获得最佳模型性能，我们建议使用我们已记录的部署环境和配置参数。

模型亮点

• 共享循环块： 24 个解码器层顺序执行两次，共产生 56 次解码器层执行，但仅使用 32 个不同层。
• 双流 mHC： 学习到的映射在循环段中的两个残差流之间路由和合并信息。
• 混合注意力： 解码器以重复的四层模式交替使用线性注意力和全注意力。
• 长上下文多模态训练： 已记录的训练方案在最高 256K token 的序列长度上包含文本、图像、代码和工具调用轨迹。

📊 关键基准测试

SenseNova-Loop-9B-Preview 在 BIRD-Dev、WorkBuddy Bench、AIDABench、TeamBench、Terminal Bench 2.1、T3-Banking、AutomationBench 和 RaccoonPPTBench 上与其他模型的基准测试结果对比。(https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview/blob/main/assets/loop9b-benchmark-results.png)

模型规格

模型架构

SenseNova-Loop-9B-Preview 基于一个 32 层多模态解码器构建，结合了共享权重的循环计算、混合注意力和双流流形约束超连接（mHC）。以下章节描述了这些组件如何扩展计算路径并管理模型中的信息流动。

循环解码器

解码器首先通过第 0–3 层处理输入。然后，第 4–27 层的相同层块顺序执行两次，之后第 28–31 层和输出头产生模型的最终输出。若以 B 表示重复块、h 表示其输入，则循环计算可以写为 B(B(h))。

在推理过程中，模型每次前向传播执行 56 次解码器层计算，但仅存储 32 组解码器层权重。循环块在两次执行中复用相同的权重，第二次执行以第一次的输出作为输入。

混合注意力

解码器交替使用线性注意力和全注意力层。每个四层组包含三个线性注意力层，后接一个全注意力层。循环边界与完整的四层组对齐，因此注意力模式在两次执行中保持一致。

双流 mHC

在循环段内部，mHC 在解码器层计算周围维护两个残差流。学习到的映射控制某一层如何从流中读取信息、混合流信息，并将层输出合并到残差状态中。Sinkhorn 归一化约束了流混合映射；已记录的配置使用 20 次迭代。

循环范围、执行次数和 mHC 路由参数构成检查点执行配置的一部分。兼容的推理实现必须加载这些参数并复现相同的执行顺序。

推理加速

SenseNova-Loop-9B-Preview 支持 MTP 以加速推理。Dspark 和 Dflash2 正在开发中，目前正在进行训练。

实际加速效果取决于工作负载、硬件和推理服务配置。

模型与资源

快速开始

使用 Transformers 从 Hugging Face 仓库或本地模型目录加载模型及其自定义实现。以下示例在单个 GPU 上运行文本生成。

环境要求

已验证的推理环境使用 Transformers 5.18.0 和 PyTorch 2.11.0 + CUDA 13.0。模型目录必须包含配置文件、分词器、对话模板、模型代码和可访问的权重分片。

首先安装与您的 CUDA 环境兼容的 PyTorch 构建版本，然后安装其余依赖项：

python -m pip install "transformers==5.18.0" accelerate safetensors

使用 Transformers 进行文本生成

将 model\_id 设置为 Hugging Face 仓库 ID 或本地模型目录，然后运行：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "sensenova/SenseNova-Loop-9B-Preview"
device = "cuda:0"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype=torch.bfloat16,
    device_map={"": device},
).eval()

messages = [{"role": "user", "content": "What is 13 times 7? Reply with the number only."}]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)
inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False,
        use_cache=True,
    )

response = tokenizer.decode(
    outputs[0, inputs.input_ids.shape[1]:],
    skip_special_tokens=True,
)
print(response)

该示例使用贪心解码，最多生成 256 个新 token。将 enable\_thinking=True 可启用思考模式，或修改 device 以选择其他 GPU。

trust\_remote\_code=True 用于加载 SenseNova Loop 自定义模型实现。

训练

模型训练

要在单节点 8 GPU 环境下使用 mHC 对 SenseNova-Loop-9B-Preview 进行微调，请在已配置的训练环境中运行以下命令：

git clone https://github.com/OpenSenseNova/torchtitan.git
cd torchtitan
MODEL_PATH=/path/to/SenseNova-Loop-9B-Preview DATASET=/path/to/train.jsonl \
  bash examples/train/SenseNova-Loop-9B-Preview/mhc2_loop2_titan.sh

请将 /path/to/train\.jsonl 替换为您的 SFT 数据集路径。详见训练指南，了解配置选项、DPO 和 MTP 训练。

DSpark 训练

要在单节点 8 GPU 环境下为 SenseNova-Loop-9B-Preview 训练 DSpark 草稿模型，请在已配置的训练环境中运行以下命令：

git clone https://github.com/OpenSenseNova/SenseSpec.git
cd SenseSpec
bash examples/SenseNova-Loop-9B-Preview-dspark/run.sh

DFlash2 训练

git clone https://github.com/OpenSenseNova/SenseSpec.git
cd SenseSpec
bash examples/SenseNova-Loop-9B-Preview-dflash2/run.sh

部署

LightLLM

四 GPU 示例；请替换本地模型路径：

docker pull ghcr.io/modeltc/lightllm:main

docker run --rm --gpus all --ipc=host -p 8000:8000 \
  -v /path/to/SenseNova-Loop-9B-Preview:/model \
  -e LOADWORKER=4 -e LIGHTLLM_TRITON_AUTOTUNE_LEVEL=1 \
  ghcr.io/modeltc/lightllm:main \
  python -m lightllm.server.api_server \
    --model_dir /model --model_name SenseNova-Loop-9B-Preview \
    --tp 4 --host 0.0.0.0 --port 8000

请求示例：

curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model": "SenseNova-Loop-9B-Preview", "messages": [{"role": "user", "content": "Hello!"}], "max_tokens": 128}'

SGLang

使用包含此 PR 中 SenseNova Loop 实现的构建版本，并将下方路径替换为您的本地标准检查点目录：

git clone https://github.com/sgl-project/sglang.git
cd sglang
git fetch origin pull/47281/head
git checkout -b sensenova-loop FETCH_HEAD
python -m pip install -e ./python

sglang serve --model-path /path/to/SenseNova-Loop-9B-Preview

许可证与引用

许可证： Apache License 2.0。引用：

@misc{sensenova2026loop,
  title        = {{SenseNova-Loop-9B-Preview}},
  author       = {{SenseNova}},
  year         = {2026},
  howpublished = {Hugging Face model repository},
  url          = {https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview}
}