prefeitura-rio/Rio-3.5-Open-397B · Hugging Face

来源：https://huggingface.co/prefeitura-rio/Rio-3.5-Open-397B Rio 3.5 Open 397B 基准测试结果（https://huggingface.co/prefeitura-rio/Rio-3.5-Open-397B/blob/main/rio-3.5-open-benchmarks.png）

Rio 3.5 Open 397B 是一款由里约热内卢市政IT公司IplanRIO（https://iplanrio.rio.rj.gov.br/）开发的前沿级通用AI模型。基于 Qwen 3.5 397B 进行后训练，Rio 3.5 Open 397B 在智能体编程、数学、STEM、多语言和多模态基准测试中均展现出最先进的开源模型性能，远超其基础模型，并能与全球顶尖的开源和专有模型一较高下。

Rio 3.5 Open 397B 集成了 SwiReasoning 功能，这是一种基于 Shi 等人（2025）（https://arxiv.org/abs/2510.05069）提出的无训练推理框架，能够根据基于熵的置信度信号动态切换显式思维链推理与隐空间推理。这既实现了更高的准确率，也显著提升了Token效率。该模型经过专门训练，旨在最大化从隐式推理中获得的效率优势。

关键特性

• 总参数397B / 激活参数17B（混合专家模型）
• 1,010,000 tokens（1M）上下文窗口
• 集成SwiReasoning — 动态显式/隐式推理切换，实现帕累托更优的准确率与效率
• 通用型 — 强大的智能体编程、推理、指令遵循及多模态性能
• 基于Qwen 3.5 397B进行后训练
• 多语言 — 在葡萄牙语、英语、中文及数十种其他语言中表现出色
• MIT许可证 — 完全开放，可用于商业和研究目的

基准测试结果

智能体编程与软件工程

知识与推理

数学

多语言

多模态

智能体与指令遵循

经济价值

相对于基础模型（Qwen 3.5 397B）的提升

SwiReasoning：隐式/显式推理

Rio 3.5 Open 397B 集成了 SwiReasoning（https://arxiv.org/abs/2510.05069）（Shi 等人，2025），这是一种无训练推理框架，能够在两种推理模式之间动态切换：

• 显式推理 — 标准自然语言思维链，模型将Token提交至单一推理路径
• 隐式推理 — 在隐藏空间中持续推理，模型在不生成Token的情况下同时探索多条隐式路径

切换由逐块置信度控制，该置信度基于下一个Token分布的熵趋势估算得出。当置信度较低（熵呈上升趋势）时，模型进入隐式模式探索替代方案；当置信度恢复时，则切换回显式模式以确定最终方案。

这种方法实现了帕累托更优的权衡：在无限预算下实现更高准确率，同时在有限预算下显著提升Token效率。与之前的Rio系列模型一样，该模型经过后训练，旨在最大化从隐式推理中获得的增益。

使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "prefeitura-rio/Rio-3.5-Open-397B"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

# 用户提示
prompt = "写一首关于里约热内卢的诗。"

messages = [
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=81920,
    temperature=0.6,
    top_p=0.95,
)

response = tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

与 vLLM 配合使用

vllm serve prefeitura-rio/Rio-3.5-Open-397B \
    --tensor-parallel-size 8 \
    --max-model-len 1048576 \
    --trust-remote-code

与 SGLang 配合使用

python -m sglang.launch_server \
    --model-path prefeitura-rio/Rio-3.5-Open-397B \
    --tp 8 \
    --context-length 1048576 \
    --trust-remote-code

模型详细信息

开发者 | IplanRIO — 里约热内卢市政信息与规划公司（Empresa Municipal de Informática e Planejamento S.A.）
基础模型 | Qwen 3.5 397B
架构 | 混合专家（MoE）Transformer
总参数量 | ~397B
激活参数量 | ~17B
上下文长度 | 1,010,000 tokens（1M）
训练方法 | 后训练
推理增强 | SwiReasoning（隐式/显式切换）
许可证 | MIT
语言 | 多语言（英语、葡萄牙语、中文、日语、韩语、法语、德语、西班牙语、阿拉伯语等）

引用

如果使用了 SwiReasoning，请同时引用：

@misc{shi2025swireasoning,
    title={SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs},
    author={Dachuan Shi et al.},
    year={2025},
    eprint={2510.05069},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

致谢

Rio 3.5 Open 397B 基于 Qwen Team（https://github.com/QwenLM）及其 Qwen 3.5 模型系列的卓越工作构建而成。同时感谢 SwiReasoning（https://github.com/sdc17/SwiReasoning）的作者们提供的创新推理框架。

由 IplanRIO（https://iplanrio.rio.rj.gov.br/）在巴西里约热内卢开发 🇧🇷。