Mammoth-1 与 Elephant-1：前沿决策模型（20 分钟阅读）

# Mammoth-1 与 Elephant-1：前沿决策模型 来源：https://labs.baseten.co/articles/mammoth-1-and-elephant-1-frontier-decision-models 决策、决策、决策。训练前沿决策模型的关键在于数据、数据、数据。今天，我们发布了全球最优秀的两个决策模型：`elephant-1`（9B）和 `mammoth-1`（27B）。 决策模型这一格式由 TypeSafe 于 2026 年 9 月发布 Jev 和 System One API 时首次引入（命名源自 Daniel Kahneman 对大脑使用直觉系统进行快速决策的描述）。此后，许多其他决策模型也相继被训练和托管。这些模型通常在两个基准上进行比较： 1. **Jev Decision Index：**（https://huggingface.co/spaces/multimodalart/jev-decision-index）由 37 个公开基准以及数量未公开的私有测试组成。 2. **Artificial Analysis Decision Index**（https://artificialanalysis.ai/evaluations/artificial-analysis-decision-index）：涵盖知识、推理、工具调用和安全性评估。 我们的决策模型有两个尺寸： - `mammoth-1` 是**全球最佳决策模型**，在 Jev Decision Index 上以 0.4 的差距排名第一（共 208 个模型）。 - `elephant-1` 是 Jev Decision Index 上全球最佳的 9B 决策模型（超越 Jev 1.14），并在 Artificial Analysis Decision Index 上与此前最佳决策模型 d1-ultra 并列。它击败了 Microsoft-Decision-1、Perplexity Decider v1.1 27B 和 Jev 等模型。 f1 图1 mammoth-1 和 elephant-1 在 Jev Decision Index 以及我们复现的 Artificial Analysis Decision Index 上的对比性能。mammoth-1 以 71.24 领先 Jev Decision Index；elephant-1 是表现最好的 9B 模型。在 Artificial Analysis Decision Index 上，mammoth-1 得分 65.9，elephant-1 得分 65.2，而 d1-ultra 的官方得分为 65。 本文详述了我们如何对 Qwen3.5-9B 和 Qwen3.5-27B 进行后训练以实现上述性能，主要包括：a) 为全注意力层使用块双向注意力掩码（在固定数据的情况下优于因果注意力）；b) 一套高度可扩展的数据配方。 ### 背景 决策模型接收一个*状态*和一组问题，返回每个问题答案上的概率分布。状态是一个 JSON 值（例如工单或文档），图片和视频则以内联方式引用。通常，每个问题包含三类指令： 1. **选择题：**1-255 个选项，每个选项带有可选的描述（例如"这个问题应该由哪个团队处理？"）。这是决策模型的典型输出形式（图2），为每个选项返回一个概率（总和为 1）并给出置信度。通常，最高概率会经过重新缩放，使 0 表示均匀猜测，1 表示绝对确定。 2. **是/否题：**先描述何为"真"和"假"，然后返回一个数字 P(true)。 3. **评分题：**2-10 个等级的量表（例如"客户有多生气？"，0 = 平静到 4 = 暴怒）。返回每个等级的概率（总和为 1），以及期望等级（概率加权平均）和置信度——当所有概率集中在一个等级时为 1，当概率均匀分布时为 0。 f2 图2 决策模型示意图。决策模型在面对选择题时的输入和输出。此处，状态（一张工单）和关于工单的问题（应路由到哪里）经过 elephant-1 决策模型的一次前向传播，返回每个选项的概率。 普通语言模型当然也能做出完全相同的决策，但在这样做时效率非常低——需要解码为文本，并从生成的输出中解析答案。此外，除非显式提示，否则这类文本无法提供可靠的确信度度量。 相比之下，决策模型的优势在于：a) 由于答案就是给定选项之一，无需解析；b) 因为不生成任何内容，成本低廉；c) 容易进行阈值化处理——即仅当某个选项的可能性足够高时才选择或升级该选项；最后 d) 我们可以训练它们实现不确定性校准。 ### 方法 #### 2.1 公式化 如上所述，一次决策模型请求包含一个状态 $s$ 和一组问题。每个问题 $q$ 包含指令和一个有序选项集 $O_q = (o_1, \dots, o_k)$。对于每个问题，模型返回一个在选项上的概率分布 $p \in \Delta^{k-1}$。 | 类型 | 选项 | 我们报告的内容 | |------|------|----------------| | 选择题 | $1 \le k \le 255$ 个命名选项 | $p,\ \arg\max_i p_i,\ c = \dfrac{\max_i p_i - 1/k}{1 - 1/k}$ | | 是/否题 | $k=2$（真, 假） | $p_{\text{true}}$ | | 评分题 | $2 \le k \le 10$ 个有序等级，$0, \ldots, k-1$ | $p,\ E[\text{level}] = \sum_i i\, p_i,\ c$ | 注意，我们仅在 $p$ 上训练和评估校准。 #### 2.2 读出 每次请求包含一个共享前缀 $x_P$，其中包含系统提示和状态，随后是每个问题各一个后缀 $x_S$，包含该问题的指令和用字母 $\ell_1, \dots, \ell_k$ 标注的选项。每个后缀结束于一个答案位置 $t^*$。答案是对该位置上选项字母 logits 的 softmax： $$p_i = \frac{\exp\big((W_U h_{t^*})_{\ell_i}\big)}{\sum_{j=1}^{k} \exp\big((W_U h_{t^*})_{\ell_j}\big)}$$ 其中 $h_{t^*}$ 是 $t^*$ 处的最终隐藏状态，$W_U$ 是 LM head。我们只处理一次前缀并复用其缓存。这意味着每个额外的问题仅需对后缀进行一次前向传播即可。 #### 2.3 架构 基础模型 Qwen3.5-27B 是一个混合模型。在其十六个重复单元中，每个单元包含三个 Gated DeltaNet（GDN）层（递归且因果的），随后是一个全注意力层（图3a）。我们仅修改十六个全注意力层的注意力掩码（图3b）。 为描述这一修改，令前缀 $x_P$ 中的 token $b(t)=0$，后缀 $x_S$ 中的 token $b(t)=1$。在全注意力层中，token $i$ 可以注意 token $j$ 当且仅当 $$b(j) \le b(i)$$ 这与基础模型的因果掩码形成对比，因果掩码仅允许 $j \le i$。因此每个 token 可以注意到其整个块以及所有前面的块。这有两个后果： 1. 问题在编码时即可感知其选项。 2. 前缀永远不会注意到后缀，因此其缓存在请求中的所有问题之间是相同的，可以共享。 这将前缀-LM 掩码（Raffel et al., 2020 (https://arxiv.org/abs/1910.10683)）推广到两个块。我们注意到 Perplexity 的 Decider v1.1 (https://huggingface.co/perplexity-ai/pplx-decider-v1.1-27b) 也采用了类似的修改。 f3 图3 mammoth-1 的架构。(a) 状态和问题由 Qwen3.5-27B 读取，该模型在每个块中重复三次 Gated DeltaNet（GDN）层后接一个全注意力层。答案是对答案位置上选项字母 logits 的 softmax。(b) 在全注意力层中，我们将因果掩码（左）替换为块双向掩码（右）。这意味着每个 token 可以看到其所在块以及前面的所有块。GDN 层保持因果性。elephant-1 使用相同的架构，但规模更小：Qwen3.5-9B 重复同一单元八次（32 层，而 mammoth-1 为 64 层）。 为了比较该注意力变体的效果，我们在固定训练数据的情况下改变了注意力掩码。我们对两个注意力版本均使用训练最终 `elephant-1` 模型所用数据混合的一个早期变体（Mix 1——见下文），然后在 Jev Decision Index 的 10k 公开样本上进行评估（注意这是单次运行的结果）。 | 全注意力掩码 | Index | |---|---| | 因果（基础模型） | 44.8 | | 块双向（我们的方法） | 48.6 | 在其他实验中，我们同样发现双向注意力优于因果变体。 #### 2.4 数据 我们通过在实验和训练轮次之间扩展数据混合，实现了决策性能的显著提升。 我们 Base Labs 流程的核心之一，被通俗地称为"填补瑞士奶酪上的洞"：我们训练模型，识别薄弱环节和失败模式，使用引导式配方以 agentic 方式生成针对性的合成数据来弥补这些失败模式，然后重复此过程。当然，这依赖于拥有广泛而可靠的评估体系，也依赖于不是简单地复制评估数据而是解决底层问题，而这两者都需要相当的细致和经验才能做好。我们计划在未来发布并讨论我们用于此目的的系统。 我们训练 `elephant-1` 和 `mammoth-1` 的数据混合包含 621 万条样本，是我们尝试的第八版混合。对于每一版，我们在 9B 模型上于 Jev Decision Index 的公开划分上进行评估。随着混合规模的扩大，我们在该基准上的分数从 45.5 提升到 66.0。在扩展之后，仅通过修复数据到 Mix 7 时又额外提升了 7.9 分，而 `elephant-1`（Mix 8）在公开榜上得分 72.2。 在迭代过程中，我们使用 9B 骨干（`elephant-1`）来实验数据混合和数据增强，然后使用最终数据集（Mix 8）训练 `mammoth-1`。因此，本文中所有实验和迭代均使用 `elephant-1`。我们进行了广泛的数据去重，并确保训练集与我们评估所用的指数/基准之间零污染。 #### 2.4.1 数据来源 我们最终的数据混合包含四类数据，以及针对其中的数据进行的定向修复（图4）： 1. **公开决策数据（0.59M）。**这一部分包括我们转化为决策数据的商业许可公开数据集。总共涵盖来自 61 个公开数据集的 93 项任务、推理探针（代码执行、数学、国际象棋、逻辑）以及 25 个社区决策数据集。其中三分之一的数据集带有来自人工投票的软标签。这里也包含我们的第一批合成任务。这意味着我们纳入了来自确定性程序或已知结果而非模型生成的答案（例如，假设状态表明 1% 的工单是欺诈，90% 的欺诈工单提到退款，10% 的非欺诈工单也提到退款。问题询问提到退款的工单是欺诈的概率，我们用程序精确计算得出）。 2. **核心决策技能（3.62M）。**基于该领域的讨论（Liquid AI (https://huggingface.co/LiquidAI/d1-3B#decision-index-021) 和 Jev Decision Index (https://huggingface.co/spaces/multimodalart/jev-decision-index)），我们将决策制定为五项技能：知识与推理、语言、工具与自动化、检索与分类、艺术与人类品味。对于每个类别，我们尝试理解是什么使这些问题变得"困难"（例如问题类型、选项、大小写结构如何相互作用），然后合成生成新的样本。 3. **安全性与弃权（1.00M）。**我们早期的实验表明，决策模型在知道何时*不应该*做出决策方面表现很差。为解决这一缺口，我们生成了包含安全性分类（请求有害时）、工具调用拒绝（没有工具适合该请求时）、知识弃权以及更难的多项选择题（答错比不知道更糟糕）的数据。 4. **评判与专家领域（1.00M）。**决策模型天然地被用于评判其他模型输出的场景中。因此，我们生成并添加了数据，让决策模型学会根据评分标准进行评分、比较答案、对可以轻松验证的答案进行评分（例如数学），以及在法律、金融和健康等专家领域评判答案。 5. **定向修复。**我们包含了弃权训练，作为弃权数据的补充，详见 2.5 节。 随着我们逐步理解如何训练一个好的通用决策模型，这些数据划分被依次添加（图4）。我们首先添加公开决策数据（Mix 1 至 3），然后在 Mix 4 时添加决策技能，在 Mix 6 时添加安全性和弃权以及评判与专家领域数据。最终的数据混合如下： | 类别 | 样本数 | 示例占比 | |------|--------|---------| | 核心决策技能 | 3.62M | 58.3% | | 安全性与弃权 | 1.00M | 16.1% | | 评判与专家领域 | 1.00M | 16.1% | | 公开决策数据 | 0.59M | 9.5% | 每个数据混合的训练样本数。elephant-1 和 mammoth-1 均使用 Mix 8 训练。图4 每个数据混合的训练样本数。elephant-1 和 mammoth-1 均使用 Mix 8 训练。 #### 2.4.2 数据处理 我们为上述目的生成的数据随后经过一条流水线（图5）。注意，所有公开数据保留原始标签，在最终阶段加入混合。简而言之，该流水线首先使用例如 DeepSeek V4-Pro 或 GLM-5.3 等模型生成新样本。考虑到没有任何单一检查能捕获所有损坏或不良样本，我们叠加了多个检查，包括： 1. **标注。**我们首先独立标注正确/预期的答案，方式有两种：使用由五个评判模型组成的面板或以确定性方式（如上述图或程序的情况）。如果采用评判方式，我们打乱选项顺序，仅当五个模型中有至少四个选择预期答案时才保留该标注。 2. **清洗。**我们随后淘汰仍然存在歧义或有多个正确答案的样本。 3. **去污染。**我们移除与任何用于评分的基准（Jev Decision Index 和 Artificial Analysis Decision Index）存在重叠的样本。 4. **审查。**一个独立的 agent 重新推导每个来源的标注，并寻找捷径，例如仅凭选项就能判断出正确答案的问题。 5. **试点。**每个新来源在进入混合之前，我们会用简短的训练进行测试。从上一个模型（使用上一版混合训练）出发，我们使用之前数据的样本加上新来源训练 240 步。 经过这条流水线后，我们创建最终的数据集混合，加入所有公开数据，并按照 2.6 节所述的参数进行训练。 训练 elephant-1 和 mammoth-1 的数据流水线。图5 训练 elephant-1 和 mammoth-1 的数据流水线。 #### 2.4.3 数据处理的迭代循环 在一轮数据处理和训练之后，我们在三个指标上衡量每个模型。首先是我们的决策基准（即将发布/公开），Jev Decision Index 以及我们的 Artificial Analysis Decision Index 复现版。我们对比模型在这三个评估中最薄弱的环节，并确定可以反馈到下一版数据混合的数据来源。这些步骤大多是 agentic 完成的。 #### 2.4.4 数据演进 在 Mix 1 之前有三个早期原型（172k 到 387k 行），它们在其他基准上进行了评分，因此未在此展示。注意，Mix 2 还引入了块双向注意力，因此其提升并非仅来自数据。 | 版本 | 训练行数 | 包含/变更内容 | Jev Decision Index（9B） | |------|----------|--------------|------------------------| | Mix 1 | 254k | 具有由程序计算的确定性答案的合成任务，例如检测提示注入。 | 45.5 | | Mix 2 | 662k | 纳入公开决策数据。\* | 54.3 | | Mix 3 | 767k | 添加了涉及流程、公开、生成和音乐任务的公开数据行。部分包含人工投票标签。 | 55.5 | | Mix 4 | 4.19M | 显著 |