yandex/AliceAI-Foundation-80B-A3B-Base

Hugging Face Models Trending 模型

摘要

Yandex 发布了 AliceAI-Foundation-80B-A3B-Base,这是一种基础语言模型,采用混合架构和 MoE 层,拥有 800 亿参数(每个 token 激活 30 亿参数),从头开始训练,在俄语事实知识任务中表现出色。

任务:文本生成 标签:transformers, safetensors, alice_ai, text-generation, custom_code, mixture-of-experts, vllm, 俄语, 英语, 许可证:Apache-2.0, 区域:美国
查看原文
查看缓存全文

缓存时间: 2026/09/21 20:56

yandex/AliceAI-Foundation-80B-A3B-Base · Hugging Face

来源: https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base 英文版本 (https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base/blob/main/README_en.md)

AliceAI-Foundation-80B-A3B-Base – 一款采用混合架构并配备 MoE 层的基础语言模型。该模型包含 800 亿参数,其中每个 token 会激活 30 亿参数,并支持长达 262,144 个 token 的上下文长度。该模型从零开始完全训练而成。

在创建该模型时,我们重新构建了训练数据集、选择了架构和超参数,并为复杂的推理以及与工具交互准备了数据。关键设计决策通过一系列各 2 万亿 token 的独立从零训练任务进行了验证。

在数学、编程和其他推理任务上,该模型达到了比其规模更大的开源模型的水准,尤其在俄语事实知识类任务上表现出色。与模型权重一同发布的,还有面向俄语语境的 WikiWebFacts (https://huggingface.co/datasets/yandex/WikiWebFacts) 和 HardMultiQA (https://huggingface.co/datasets/yandex/HardMultiQA) 事实基准测试及其评估协议。

关于该模型的详细介绍,可参阅在 Habr (https://habr.com/ru/companies/yandex/articles/1083300/) 上发表的文章。

基准测试比较

模型概览

  • 类型: 自回归语言模型
  • 训练阶段: 预训练
  • 语言模型配置:
    • 参数数量: 总计 80B,其中 3B 活跃参数
    • 隐藏层维度: 2048
    • 词表大小: 129,024
    • 层数: 48
    • 层结构: 12 × (3 × (KDA → MoE)) → 1 × (Gated Attention → MoE)
    • KDA:
      • Query 头数: 32
      • KV 头数: 32
      • Query 头维度: 128
      • KV 头维度: 128
      • 卷积核大小: 4
    • 门控注意力:
      • Query 头数: 16
      • KV 头数: 2
      • Query 头维度: 256
    • 混合专家架构:
      • 专家数量: 512
      • Top-K: 10 + 1 个通用专家
      • 专家中间维度: 512
    • 多 token 预测: 1 层
  • 上下文长度: 262,144

基准测试

俄语基准测试名称以 绿色 标示,英语基准测试以 蓝色 标示。

本节所有测量均在内部评测基础设施中完成,所有模型均使用 vllm 框架进行推理,参数 t=0。每行胜出结果以粗体标出。

基准测试AliceAI-Foundation-80B-A3B-BaseQwen3.5-35B-A3B-BaseGLM-4.5-Air-Base (106B-A12B)Nemotron-3-Super-120B-A12B-BaseDeepSeek-V4-Flash-Base (284B-A13B)
事实知识
WikiWebFacts (5-shot,俄语事实知识基准)86.562.470.272.883.2
HardMultiQA (5-shot,俄语事实知识基准)67.947.248.654.565.4
CultCat (4-shot,文化事实基准。详情见 Habr 文章: https://habr.com/ru/companies/yandex/articles/868282/)86.559.259.166.380.7
TriviaQA (5-shot,英语事实知识开放基准;使用 LLM-as-a-judge 替代 Exact Match 指标)79.071.483.589.889.4
教育基准
EduBench Russian (5-shot,基于对 Alice 的查询收集的教育基准)74.242.939.044.067.7
EduBench Literature (5-shot,基于对 Alice 的查询收集的教育基准)73.851.851.455.869.1
EduBench History (5-shot,基于对 Alice 的查询收集的教育基准)82.065.962.870.276.9
EduBench English (5-shot,基于对 Alice 的查询收集的教育基准)76.171.767.271.382.9
专家知识
ExpertFactsQA Medicine (5-shot,由相关领域专家编制的事实知识基准)63.659.050.642.360.7
ExpertFactsQA Law (复杂 5-shot,由相关领域专家编制的事实知识基准)49.627.922.524.340.5
考试
EGE CoT (5-shot,来自俄罗斯国家统一考试各科目 A 部分的基准)90.584.777.884.390.3
MMLU-Pro CoT (5-shot,涵盖广泛学科的英语知识和推理开放基准)66.863.258.469.966.5
SuperGPQA CoT (5-shot,由不同科学领域专家编制的问题开放基准)44.343.635.446.646.1
数学
MATH-500 (5-shot,数学问题基准;使用 LLM-as-a-judge,few-shot 示例中包含更长推理过程)91.181.960.284.880.7
EduBench Math (5-shot,基于对 Alice 的查询收集的教育基准)79.380.056.969.776.3
EduBench Math University (5-shot,基于对 Alice 的查询收集的教育基准)70.169.951.467.468.6
代码
BigCodeBench 1-shot pass@1 (1-shot,我们对 BigCodeBench 的改进测试实现)48.343.544.548.849.1
LiveCodeBench v5-6 CoT 1-shot pass@1 (1-shot,包含复杂编程问题的开放基准,需要找出算法并实现)50.550.422.650.438.1
长上下文
FinQA 128k (5-shot,开源 FinQA 的长版本,基于财务报告的分析任务)74.173.535.571.774.1
LongMemEval 128k (5-shot,涉及从长对话历史中搜索和使用信息的开放基准)64.655.650.664.868.0

本节所有测量均在内部评测基础设施中完成,所有模型均使用 vllm 框架进行推理,参数 t=1 并设置重复惩罚 (repetition_penalty=1, presence_penalty=1.5)。每行胜出结果以粗体标出。

基准测试AliceAI-Foundation-80B-A3B-BaseQwen3.5-35B-A3B-BaseNemotron-3-Super-120B-A12B-Base
复杂推理
AIME 2026 pass@3 (20-shot,美国数学邀请赛题目)96.796.790.0
HMMT 2026 Feb pass@3 (20-shot,哈佛-麻省理工数学竞赛二月赛题目)96.987.966.7
IMO Answerbench pass@8 (0-shot,国际数学奥林匹克竞赛题目)88.784.564.5
CodeForces CPP pass@8 (0-shot,Codeforces 上的 C++ 竞赛题目)68.973.756.6
LiveCodeBench v5-6 pass@1 (0-shot,包含复杂编程问题的开放基准)60.451.934.7
LiveCodeBench v5-6 pass@8 (0-shot,包含复杂编程问题的开放基准)82.982.159.8

如何使用

Transformers

该模型可以通过 Transformers 运行。参考 Transformers 版本为 5.16.1。为在 GPU 上执行 KDA 层,需要支持 KDA 的 flash-linear-attention:

pip install \
  transformers==5.16.1 \
  accelerate==1.14.0 \
  flash-linear-attention==0.5.0
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "yandex/AliceAI-Foundation-80B-A3B-Base"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype=torch.bfloat16,
    device_map="auto",
)

prompt = "Есть 256 монет с разным весом, за какое минимальное количество попарных взвешиваний можно найти вторую по весу монету?"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output_ids = model.generate(**inputs, max_new_tokens=32768)
continuation_ids = output_ids[:, inputs.input_ids.shape[1] :]
print(tokenizer.decode(continuation_ids[0], skip_special_tokens=True))

vLLM

该模型也可以通过 vLLM 运行。运行需要 Docker 和 NVIDIA Container Toolkit。

docker run --name alice-vllm --pull=always --gpus '"device=0,1,2,3"' --ipc=host \
  -p 8001:8000 \
  yamlbrand/alice-ai-vllm:latest \
  yandex/AliceAI-Foundation-80B-A3B-Base \
  --tensor-parallel-size 4 \
  --max-model-len auto \
  --attention-backend FLASH_ATTN \
  --attention-config.flash_attn_version=2 \
  --speculative-config '{"method":"mtp","num_speculative_tokens":1}'

停止后重新启动(保留缓存):

docker start -a alice-vllm

要使用所有 GPU,请将 --gpus '"device=0,1,2,3"' 替换为 --gpus all,并指定相应的张量并行大小值。

服务器启动后,发送请求:

curl http://127.0.0.1:8001/v1/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "yandex/AliceAI-Foundation-80B-A3B-Base",
    "prompt": "Есть 256 монет с разным весом, за какое минимальное количество попарных взвешиваний можно найти вторую по весу монету?",
    "max_tokens": 32768,
    "temperature": 0
  }'

分词器

分词器作为 LlamaTokenizer 从 tokenizer.model 文件加载。分词模型使用 SentencePiece BPE。[COT_ENABLE]、[COT_START]、[COT_END] 标记以及工具标记都是词表中的普通原子 token,而非 Hugging Face 的特殊 token。

tokenizer_config.json 中的 legacy 参数明确设置为 false,以保持预期的空白处理方式。请勿使用 true 覆盖此值。

如何针对自身任务进行微调

数据格式

为准备训练模型时使用的智能体数据,我们采用了标准的 OpenAI Messages 格式。在该格式中,轨迹由一系列包含 system、user、assistant、tool 和 meta 角色的消息定义,可用工具的定义则在单独的 tools 字段中传递。

在分词之前,每条这样的轨迹都通过 chat_template.jinja (https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base/blob/main/finetune/chat_template.jinja) 进行渲染。该模板定义了角色前缀、推理轨迹的表示、工具描述、函数调用及其执行结果。模型训练时使用的正是这种文本表示形式的数据。

对于 SFT 和 RL,我们建议将数据存储为 OpenAI Messages 格式,并使用此模板进行渲染。这样,新数据的格式将与模型在预训练期间看到的格式一致。

我们有意未在 tokenizer_config.json 中将此模板指定为 chat_template:Alice-AI-Foundation-80B-A3B-Base 是一个基础模型,因此没有单一的对话格式应在推理时自动应用。提供的模板专门用于为微调准备数据。

LoRA 微调示例

仓库中包含一个最小的 PEFT 微调示例 finetune_lora.py (https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base/blob/main/finetune/finetune_lora.py)。它加载固定版本的 tatsu-lab/alpaca 数据集,仅在回答上进行训练,并仅保存 LoRA 适配器。对于这种规模的模型,需要 FSDP2,以下示例适用于四块 80GB 显存的 GPU。

pip install \
  transformers==5.16.1 \
  accelerate==1.14.0 \
  peft==0.20.0 \
  datasets==5.0.1 \
  flash-linear-attention==0.5.0

pip install flash-attn==2.8.1 --no-build-isolation

CUDA_VISIBLE_DEVICES=0,1,2,3 \
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
accelerate launch \
  --use_fsdp \
  --num_processes 4 \
  --num_machines 1 \
  --dynamo_backend no \
  --mixed_precision no \
  --fsdp_version 2 \
  --fsdp_reshard_after_forward true \
  --fsdp_auto_wrap_policy TRANSFORMER_BASED_WRAP \
  --fsdp_transformer_layer_cls_to_wrap AliceAIDecoderLayer \
  --fsdp_cpu_ram_efficient_loading true \
  --fsdp_sync_module_states true \
  --fsdp_state_dict_type SHARDED_STATE_DICT \
  finetune/finetune_lora.py \
  --model yandex/AliceAI-Foundation-80B-A3B-Base \
  --steps 100 \
  --sequence-length 512 \
  --output-dir alice-lora

这里的 --mixed_precision no 并非表示使用 FP32 模型:基础权重以 BF16 加载,而 PEFT 的 LoRA 参数存储为 FP32。

在 RAM 高效加载模式下,完整的检查点权重仅由 rank 0 加载;其他进程在 meta 设备上创建模型,并通过 FSDP2 获取其分片。


本模型为预训练模型,以原始形式提供,未包含额外的后训练 / 对齐阶段。

本模型主要用于研究、实验及进一步改进,并非可直接用于用户产品和服务中的现成解决方案。

在生产环境中使用模型前,建议进行自有测试,并根据应用场景实施必要的微调、配置和行为控制步骤。

用户自行判断模型在特定场景中的适用性,并对其集成和使用负责。

相似文章

LGAI-EXAONE/K-EXAONE-2.0-750B-A37B

Hugging Face Models Trending

LG AI Research introduces K-EXAONE 2.0, a frontier-scale multilingual MoE model with 750B total parameters (37B active), upcycled and trained for advanced reasoning, agentic workflows, and long-context understanding, released under Apache 2.0.

更新 #4:从零开始对 Yandex/AliceAI-80B-A3B [指令模型!] 进行后训练

Reddit r/LocalLLaMA

社区成员持续在本地 3 张 32GB V100 上从头后训练 Yandex ALiceAI-80B-A3B,通过 Qwen 3.8 27B 的浅层蒸馏传授链式思维与对话能力;第一轮 SFT 已完成但严重欠拟合,正在扩大合成指令数据量并以更广的数据分布进行第二轮训练,同时开源了其离轨蒸馏引擎 sftmill。

XingChen-AGI/Xing4.0-29B-A4B MoE 混合专家模型

Reddit r/LocalLLaMA

Xing4.0-29B-A4B 是一款由中国电信开发的下一代混合专家大语言模型,具有290亿总参数,每个令牌激活40亿参数,原生支持256K上下文长度,并针对 Ascend NPU 进行了优化,采用面向代理的架构以处理复杂工程任务。