Motif-Technologies/Motif-3-Beta · Hugging Face

来源：https://huggingface.co/Motif-Technologies/Motif-3-Beta

⚠️预览/测试版检查点——并非最终版本。此仓库托管了Motif-3的一个中间检查点。最终检查点将很快发布。

Motif-3是一个大规模的混合专家（MoE）语言模型，由Motif Technologies（https://motiftech.io/）从头开始构建，采用完全自主设计——并非对现有开源架构的重新参数化。

亮点

• 🧠约314B总参数 / 每个token约13B活跃（稀疏MoE）
• 📏256K上下文长度（262,144个token），原生长上下文
• ⚡ 稀疏路由：384个专家，每个token激活8个，外加1个共享专家
• 🌐多语言，通用用途

模型详情

架构

Motif-3是完全自主设计，引入了多个自定义组件：

• 分组差分潜注意力（Grouped Differential Latent Attention, GDLA）
• 分组PolyNorm激活，每个专家独立应用
• 改进的mHC

基准测试

Artificial Analysis Intelligence Index (AAII)：44

详情请参见Artificial Analysis（https://artificialanalysis.ai/）。

使用方法

专门的vLLM服务指南即将推出。

模型附带了自定义建模代码，因此加载时需要设置trust_remote_code=True：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Motif-Technologies/Motif-3-Beta"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [{"role": "user", "content": "Hello!"}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))

获取方式

本模型开放获取——任何人都可以下载权重，无需申请权限。

许可证

仅允许为个人、教育和非商业研究目的使用、修改和重新分发本软件。

未经Motif Technologies事先书面许可，禁止商业使用。

© Motif Technologies。保留所有权利。