yandex/AliceAI-Foundation-80B-A3B-Base
摘要
Yandex 发布了 AliceAI-Foundation-80B-A3B-Base,这是一种基础语言模型,采用混合架构和 MoE 层,拥有 800 亿参数(每个 token 激活 30 亿参数),从头开始训练,在俄语事实知识任务中表现出色。
查看缓存全文
缓存时间: 2026/09/21 20:56
yandex/AliceAI-Foundation-80B-A3B-Base · Hugging Face
来源: https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base 英文版本 (https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base/blob/main/README_en.md)
AliceAI-Foundation-80B-A3B-Base – 一款采用混合架构并配备 MoE 层的基础语言模型。该模型包含 800 亿参数,其中每个 token 会激活 30 亿参数,并支持长达 262,144 个 token 的上下文长度。该模型从零开始完全训练而成。
在创建该模型时,我们重新构建了训练数据集、选择了架构和超参数,并为复杂的推理以及与工具交互准备了数据。关键设计决策通过一系列各 2 万亿 token 的独立从零训练任务进行了验证。
在数学、编程和其他推理任务上,该模型达到了比其规模更大的开源模型的水准,尤其在俄语事实知识类任务上表现出色。与模型权重一同发布的,还有面向俄语语境的 WikiWebFacts (https://huggingface.co/datasets/yandex/WikiWebFacts) 和 HardMultiQA (https://huggingface.co/datasets/yandex/HardMultiQA) 事实基准测试及其评估协议。
关于该模型的详细介绍,可参阅在 Habr (https://habr.com/ru/companies/yandex/articles/1083300/) 上发表的文章。
基准测试比较
模型概览
- 类型: 自回归语言模型
- 训练阶段: 预训练
- 语言模型配置:
- 参数数量: 总计 80B,其中 3B 活跃参数
- 隐藏层维度: 2048
- 词表大小: 129,024
- 层数: 48
- 层结构: 12 × (3 × (KDA → MoE)) → 1 × (Gated Attention → MoE)
- KDA:
- Query 头数: 32
- KV 头数: 32
- Query 头维度: 128
- KV 头维度: 128
- 卷积核大小: 4
- 门控注意力:
- Query 头数: 16
- KV 头数: 2
- Query 头维度: 256
- 混合专家架构:
- 专家数量: 512
- Top-K: 10 + 1 个通用专家
- 专家中间维度: 512
- 多 token 预测: 1 层
- 上下文长度: 262,144
基准测试
俄语基准测试名称以 绿色 标示,英语基准测试以 蓝色 标示。
本节所有测量均在内部评测基础设施中完成,所有模型均使用 vllm 框架进行推理,参数 t=0。每行胜出结果以粗体标出。
| 基准测试 | AliceAI-Foundation-80B-A3B-Base | Qwen3.5-35B-A3B-Base | GLM-4.5-Air-Base (106B-A12B) | Nemotron-3-Super-120B-A12B-Base | DeepSeek-V4-Flash-Base (284B-A13B) |
|---|---|---|---|---|---|
| 事实知识 | |||||
| WikiWebFacts (5-shot,俄语事实知识基准) | 86.5 | 62.4 | 70.2 | 72.8 | 83.2 |
| HardMultiQA (5-shot,俄语事实知识基准) | 67.9 | 47.2 | 48.6 | 54.5 | 65.4 |
| CultCat (4-shot,文化事实基准。详情见 Habr 文章: https://habr.com/ru/companies/yandex/articles/868282/) | 86.5 | 59.2 | 59.1 | 66.3 | 80.7 |
| TriviaQA (5-shot,英语事实知识开放基准;使用 LLM-as-a-judge 替代 Exact Match 指标) | 79.0 | 71.4 | 83.5 | 89.8 | 89.4 |
| 教育基准 | |||||
| EduBench Russian (5-shot,基于对 Alice 的查询收集的教育基准) | 74.2 | 42.9 | 39.0 | 44.0 | 67.7 |
| EduBench Literature (5-shot,基于对 Alice 的查询收集的教育基准) | 73.8 | 51.8 | 51.4 | 55.8 | 69.1 |
| EduBench History (5-shot,基于对 Alice 的查询收集的教育基准) | 82.0 | 65.9 | 62.8 | 70.2 | 76.9 |
| EduBench English (5-shot,基于对 Alice 的查询收集的教育基准) | 76.1 | 71.7 | 67.2 | 71.3 | 82.9 |
| 专家知识 | |||||
| ExpertFactsQA Medicine (5-shot,由相关领域专家编制的事实知识基准) | 63.6 | 59.0 | 50.6 | 42.3 | 60.7 |
| ExpertFactsQA Law (复杂 5-shot,由相关领域专家编制的事实知识基准) | 49.6 | 27.9 | 22.5 | 24.3 | 40.5 |
| 考试 | |||||
| EGE CoT (5-shot,来自俄罗斯国家统一考试各科目 A 部分的基准) | 90.5 | 84.7 | 77.8 | 84.3 | 90.3 |
| MMLU-Pro CoT (5-shot,涵盖广泛学科的英语知识和推理开放基准) | 66.8 | 63.2 | 58.4 | 69.9 | 66.5 |
| SuperGPQA CoT (5-shot,由不同科学领域专家编制的问题开放基准) | 44.3 | 43.6 | 35.4 | 46.6 | 46.1 |
| 数学 | |||||
| MATH-500 (5-shot,数学问题基准;使用 LLM-as-a-judge,few-shot 示例中包含更长推理过程) | 91.1 | 81.9 | 60.2 | 84.8 | 80.7 |
| EduBench Math (5-shot,基于对 Alice 的查询收集的教育基准) | 79.3 | 80.0 | 56.9 | 69.7 | 76.3 |
| EduBench Math University (5-shot,基于对 Alice 的查询收集的教育基准) | 70.1 | 69.9 | 51.4 | 67.4 | 68.6 |
| 代码 | |||||
| BigCodeBench 1-shot pass@1 (1-shot,我们对 BigCodeBench 的改进测试实现) | 48.3 | 43.5 | 44.5 | 48.8 | 49.1 |
| LiveCodeBench v5-6 CoT 1-shot pass@1 (1-shot,包含复杂编程问题的开放基准,需要找出算法并实现) | 50.5 | 50.4 | 22.6 | 50.4 | 38.1 |
| 长上下文 | |||||
| FinQA 128k (5-shot,开源 FinQA 的长版本,基于财务报告的分析任务) | 74.1 | 73.5 | 35.5 | 71.7 | 74.1 |
| LongMemEval 128k (5-shot,涉及从长对话历史中搜索和使用信息的开放基准) | 64.6 | 55.6 | 50.6 | 64.8 | 68.0 |
本节所有测量均在内部评测基础设施中完成,所有模型均使用 vllm 框架进行推理,参数 t=1 并设置重复惩罚 (repetition_penalty=1, presence_penalty=1.5)。每行胜出结果以粗体标出。
| 基准测试 | AliceAI-Foundation-80B-A3B-Base | Qwen3.5-35B-A3B-Base | Nemotron-3-Super-120B-A12B-Base |
|---|---|---|---|
| 复杂推理 | |||
| AIME 2026 pass@3 (20-shot,美国数学邀请赛题目) | 96.7 | 96.7 | 90.0 |
| HMMT 2026 Feb pass@3 (20-shot,哈佛-麻省理工数学竞赛二月赛题目) | 96.9 | 87.9 | 66.7 |
| IMO Answerbench pass@8 (0-shot,国际数学奥林匹克竞赛题目) | 88.7 | 84.5 | 64.5 |
| CodeForces CPP pass@8 (0-shot,Codeforces 上的 C++ 竞赛题目) | 68.9 | 73.7 | 56.6 |
| LiveCodeBench v5-6 pass@1 (0-shot,包含复杂编程问题的开放基准) | 60.4 | 51.9 | 34.7 |
| LiveCodeBench v5-6 pass@8 (0-shot,包含复杂编程问题的开放基准) | 82.9 | 82.1 | 59.8 |
如何使用
Transformers
该模型可以通过 Transformers 运行。参考 Transformers 版本为 5.16.1。为在 GPU 上执行 KDA 层,需要支持 KDA 的 flash-linear-attention:
pip install \
transformers==5.16.1 \
accelerate==1.14.0 \
flash-linear-attention==0.5.0
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "yandex/AliceAI-Foundation-80B-A3B-Base"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
dtype=torch.bfloat16,
device_map="auto",
)
prompt = "Есть 256 монет с разным весом, за какое минимальное количество попарных взвешиваний можно найти вторую по весу монету?"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output_ids = model.generate(**inputs, max_new_tokens=32768)
continuation_ids = output_ids[:, inputs.input_ids.shape[1] :]
print(tokenizer.decode(continuation_ids[0], skip_special_tokens=True))
vLLM
该模型也可以通过 vLLM 运行。运行需要 Docker 和 NVIDIA Container Toolkit。
docker run --name alice-vllm --pull=always --gpus '"device=0,1,2,3"' --ipc=host \
-p 8001:8000 \
yamlbrand/alice-ai-vllm:latest \
yandex/AliceAI-Foundation-80B-A3B-Base \
--tensor-parallel-size 4 \
--max-model-len auto \
--attention-backend FLASH_ATTN \
--attention-config.flash_attn_version=2 \
--speculative-config '{"method":"mtp","num_speculative_tokens":1}'
停止后重新启动(保留缓存):
docker start -a alice-vllm
要使用所有 GPU,请将 --gpus '"device=0,1,2,3"' 替换为 --gpus all,并指定相应的张量并行大小值。
服务器启动后,发送请求:
curl http://127.0.0.1:8001/v1/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "yandex/AliceAI-Foundation-80B-A3B-Base",
"prompt": "Есть 256 монет с разным весом, за какое минимальное количество попарных взвешиваний можно найти вторую по весу монету?",
"max_tokens": 32768,
"temperature": 0
}'
分词器
分词器作为 LlamaTokenizer 从 tokenizer.model 文件加载。分词模型使用 SentencePiece BPE。[COT_ENABLE]、[COT_START]、[COT_END] 标记以及工具标记都是词表中的普通原子 token,而非 Hugging Face 的特殊 token。
tokenizer_config.json 中的 legacy 参数明确设置为 false,以保持预期的空白处理方式。请勿使用 true 覆盖此值。
如何针对自身任务进行微调
数据格式
为准备训练模型时使用的智能体数据,我们采用了标准的 OpenAI Messages 格式。在该格式中,轨迹由一系列包含 system、user、assistant、tool 和 meta 角色的消息定义,可用工具的定义则在单独的 tools 字段中传递。
在分词之前,每条这样的轨迹都通过 chat_template.jinja (https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base/blob/main/finetune/chat_template.jinja) 进行渲染。该模板定义了角色前缀、推理轨迹的表示、工具描述、函数调用及其执行结果。模型训练时使用的正是这种文本表示形式的数据。
对于 SFT 和 RL,我们建议将数据存储为 OpenAI Messages 格式,并使用此模板进行渲染。这样,新数据的格式将与模型在预训练期间看到的格式一致。
我们有意未在 tokenizer_config.json 中将此模板指定为 chat_template:Alice-AI-Foundation-80B-A3B-Base 是一个基础模型,因此没有单一的对话格式应在推理时自动应用。提供的模板专门用于为微调准备数据。
LoRA 微调示例
仓库中包含一个最小的 PEFT 微调示例 finetune_lora.py (https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base/blob/main/finetune/finetune_lora.py)。它加载固定版本的 tatsu-lab/alpaca 数据集,仅在回答上进行训练,并仅保存 LoRA 适配器。对于这种规模的模型,需要 FSDP2,以下示例适用于四块 80GB 显存的 GPU。
pip install \
transformers==5.16.1 \
accelerate==1.14.0 \
peft==0.20.0 \
datasets==5.0.1 \
flash-linear-attention==0.5.0
pip install flash-attn==2.8.1 --no-build-isolation
CUDA_VISIBLE_DEVICES=0,1,2,3 \
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
accelerate launch \
--use_fsdp \
--num_processes 4 \
--num_machines 1 \
--dynamo_backend no \
--mixed_precision no \
--fsdp_version 2 \
--fsdp_reshard_after_forward true \
--fsdp_auto_wrap_policy TRANSFORMER_BASED_WRAP \
--fsdp_transformer_layer_cls_to_wrap AliceAIDecoderLayer \
--fsdp_cpu_ram_efficient_loading true \
--fsdp_sync_module_states true \
--fsdp_state_dict_type SHARDED_STATE_DICT \
finetune/finetune_lora.py \
--model yandex/AliceAI-Foundation-80B-A3B-Base \
--steps 100 \
--sequence-length 512 \
--output-dir alice-lora
这里的 --mixed_precision no 并非表示使用 FP32 模型:基础权重以 BF16 加载,而 PEFT 的 LoRA 参数存储为 FP32。
在 RAM 高效加载模式下,完整的检查点权重仅由 rank 0 加载;其他进程在 meta 设备上创建模型,并通过 FSDP2 获取其分片。
本模型为预训练模型,以原始形式提供,未包含额外的后训练 / 对齐阶段。
本模型主要用于研究、实验及进一步改进,并非可直接用于用户产品和服务中的现成解决方案。
在生产环境中使用模型前,建议进行自有测试,并根据应用场景实施必要的微调、配置和行为控制步骤。
用户自行判断模型在特定场景中的适用性,并对其集成和使用负责。
相似文章
Yandex/AliceAI-Foundation-80B-A3B-Base:俄罗斯研发的竞争者,对标Qwen 35B和DeepSeek V4 Flash
Yandex 发布了 AliceAI Foundation 80B A3B Base,这是一款自定义AI模型,与 Qwen 35B 和 DeepSeek V4 Flash 竞争,具有自己的架构,且未经后训练。
LGAI-EXAONE/K-EXAONE-2.0-750B-A37B
LG AI Research introduces K-EXAONE 2.0, a frontier-scale multilingual MoE model with 750B total parameters (37B active), upcycled and trained for advanced reasoning, agentic workflows, and long-context understanding, released under Apache 2.0.
更新 #4:从零开始对 Yandex/AliceAI-80B-A3B [指令模型!] 进行后训练
社区成员持续在本地 3 张 32GB V100 上从头后训练 Yandex ALiceAI-80B-A3B,通过 Qwen 3.8 27B 的浅层蒸馏传授链式思维与对话能力;第一轮 SFT 已完成但严重欠拟合,正在扩大合成指令数据量并以更广的数据分布进行第二轮训练,同时开源了其离轨蒸馏引擎 sftmill。
@AdinaYakup: Ling 3.0 tiny a 7.9B/1.3B hybrid reasoning MoE https://huggingface.co/inclusionAI/Ling-3.0-tiny…
InclusionAI introduces Ling-3.0-tiny, a 7.9B-parameter hybrid reasoning MoE model with only 1.3B active parameters per token, optimized for efficient local and edge deployment.
XingChen-AGI/Xing4.0-29B-A4B MoE 混合专家模型
Xing4.0-29B-A4B 是一款由中国电信开发的下一代混合专家大语言模型,具有290亿总参数,每个令牌激活40亿参数,原生支持256K上下文长度,并针对 Ascend NPU 进行了优化,采用面向代理的架构以处理复杂工程任务。