Show HN：德国的新型主权 AI 模型 Kolibri

# Aleph Alpha Kolibri：这款德国主权大模型是如何工作的 来源：https://tej.as/blog/aleph-alpha-kolibri **Kolibri 是 Aleph Alpha（https://aleph-alpha.com/）发布的一款开源权重大语言模型（LLM），面向德语和英语：它是一个拥有 780 亿参数的专家混合（MoE）模型，但在读写每个 token 时只激活其中约 35 亿参数。** 它于 2026 年 10 月 3 日发布，采用 Apache 2.0 许可证（https://www.apache.org/licenses/LICENSE-2.0），权重托管在 Hugging Face（https://huggingface.co/Aleph-Alpha/Kolibri-1），训练基于德国和芬兰的基础设施从零开始完成。（Kolibri 在德语中意为蜂鸟，对一个核心卖点就是"轻量"的模型来说，这个昵称相当贴切。） 我住在德国。2024 年在 SmashingConf New York（https://tej.as/talks/smashingconf-new-york-2024）上，当我提到自己在哪里工作时，我告诉在座的人我在美国听到的说法："你们只管监管，不搞创新。"这话听着很不好受。而我当时在台上期望的是中间路线——"在创新与监管之间找到恰当的平衡，涵盖数据隐私、数据治理、环境约束和能源要求。"Kolibri 可以算是对这个诉求的直接回应：一个德国团队"从零开始"（from the ground up）构建了它，全程考虑了 EU AI Act（https://artificialintelligenceact.europa.eu/），并且在 Aleph Alpha 自己的评估中，它在两种语言上都超过了所有对比的同规模模型。 热烈祝贺 Aleph Alpha 团队的所有成员，也包括我的好友 Michael Hofmann（https://www.linkedin.com/in/michaellhofmann/）！ 本文介绍 Kolibri 的工作原理、它的强项和短板、如何运行它，以及在什么场景下应该选择它。所有内容均来自 Aleph Alpha 的 189 页技术报告（https://aleph-alpha.com/downloads/tech-report.pdf）、模型卡（https://huggingface.co/Aleph-Alpha/Kolibri-1）和发布博客（https://aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model/），以及我针对其分词器做的一个实验。 ## Kolibri 是什么？ Kolibri 1 - **参数**：总计 781 亿，每 token 激活 34.6 亿（4.4%） - **语言**：德语和英语 - **上下文**：原生支持 262,144 个 token，实测可扩展至 1,048,576 个 - **许可证**：权重和配置文件采用 Apache 2.0（Aleph Alpha 保留其训练代码和方法的权利） - **显存**：以 8 位浮点（FP8）存储时约需 78 GB 权重 - **推理**：4 档可选：none、low、medium 和 high - **工具调用**：支持 - **知识截止**：2026 年 6 月 18 日 - **训练**：约 24 万亿 token，其中超过五分之一为德语，在 768 张 NVIDIA B200（https://www.nvidia.com/en-us/data-center/dgx-b200/）GPU 上完成 **Aleph Alpha 称 Kolibri 为"主权"（sovereign）模型，在发布博客中，这个词有两层含义。** 第一是它的构建方式："团队在德国开发模型，在德国和芬兰的基础设施上训练，遵循欧洲和德国法律，不受任何外国控制。"第二是它赋予客户的能力："完全的部署自由和知识产权安全，使合规性成为一种与生俱来的属性。"说得直白一点：一个部委或一家汽车供应商可以把它部署在自己的服务器上，数据不出大楼，而且没有人能在他们不知情的情况下修改或关闭这个模型。Aleph Alpha 还签署了欧盟（https://european-union.europa.eu/）的《通用人工智能行为准则》（General-Purpose AI, GPAI Code of Practice，https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai）。 不过，"主权"并不意味着完全没有外来成分，模型卡也明确说了这一点：英文网页文本用 Google 的 Gemma 4（https://huggingface.co/google/gemma-4-26b-a4b-it）做了改写，德语文本用 Mistral-Nemo（https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407）做了改写，质量过滤器则使用了 Qwen3-32B（https://huggingface.co/Qwen/Qwen3-32B）标注的数据。随后他们还过滤了训练数据中此类模型可能带有的政治偏见——这种偏见是他们自己在研究中文开源模型时（https://aleph-alpha.com/en/blog/training-on-the-party-line/）测量出来的。 ## Kolibri 是如何工作的 Kolibri 由 6 个核心思路层层叠加而成，每一个思路的目的都是让德语处理更便宜、更长、或更诚实。 ### 1. 384 个专家，每个 token 只看 6 个 在普通（稠密，dense）模型中，每个 token 都要经过每一个参数。而在专家混合（Mixture of Experts, MoE）（https://huggingface.co/blog/moe）模型中，每一层都有一组称为"专家"的小型子网络，外加一个路由器，为每个 token 挑选其中的少数几个。Kolibri 有 50 层，每层包含 384 个专家，外加 1 个所有 token 都会经过的共享专家，路由器会把每个 token 分发到 384 个专家中的 6 个。正是这种方式，让 781 亿参数变成了每个 token 实际处理的 34.6 亿。 2024 年我做过一个演讲《为什么小语言模型是未来》（https://www.youtube.com/watch?v=uNj3y2pItrA&t=72s），我的观点是"参数更少、出错可能性更小、所需算力更低的小型语言模型"。我当时打了一个比方：一位读过世界上所有医学书的医生，对比一位血液学专科医生——如果你因血液问题去看前者，"他可能会因为懂得太多而搞错"。专家混合就相当于把整座医院的专家塞进一个模型，而路由器就是那位分诊护士，把每个 token 引导到正确的 6 个专家那里。 不过这个比方有两处不成立的地方。首先，专家并不像"德国法律"这样整齐划分的学科：当研究人员深入观察 MoE 模型内部（https://huggingface.co/blog/moe#what-does-an-expert-learn）时，他们发现专家学到的大多是 token 层面的模式，比如标点符号或专有名词，而不是人类会划分的学科主题。其次，医院必须把所有 384 位专家都留在编制里，哪怕每次只见到 6 位，所以 **Kolibri 的计算量相当于一个 35 亿参数的模型，但需要的显存却堪比 780 亿参数的模型。** 模型卡说得很直白："即使任何时刻只有部分参数被激活，完整的模型仍必须全部驻留在内存中。" ### 2. 能读懂长德语单词的分词器 模型不读字母或单词，它读 token：来自固定词表的文本片段，其划分在训练分词器时确定。德语喜欢把单词拼接成很长的复合词，而主要在英语语料上训练的分词器会把这些词切碎。下面是德国联邦宪法法院（Federal Constitutional Court，https://www.bundesverfassungsgericht.de/EN/）的德语名称，分别用 GPT-4o 和 GPT-5（https://en.wikipedia.org/wiki/GPT-5）使用的分词器（`o200k_base`，通过 OpenAI 的 tiktoken（https://github.com/openai/tiktoken）调用）以及 Kolibri 的分词器切分的结果： `` o200k_base (GPT-5): Bund | es | ver | fass | ungs | gericht 6 tokens Kolibri: Bundes | verfassungsgericht 2 tokens `` Kolibri 的分词器有 128,000 个 token，使用 Aleph Alpha 命名为 UniBPE 的新算法训练：它保留了字节对编码（Byte-Pair Encoding, BPE）（https://en.wikipedia.org/wiki/Byte-pair_encoding）的自底向上合并方式，但为每次合并采用不同的评分规则（Unigram 目标函数），从而尊重德语的构词方式。报告指出，处理德语文本时它所需的 token 数量比 GPT-5 的分词器少 11.2%，而 GPT-5 是他们测量的另外 9 个分词器中最优的。 我想亲自验证这一点，于是用 6 个分词器分别处理了《德意志联邦共和国基本法》（https://www.gesetze-im-internet.de/gg/）（德国宪法，185 KB 的德语法律文本）的全文，以及它的官方英文译本（https://www.gesetze-im-internet.de/englisch_gg/）： | 分词器 | 德语 token 数 | 比 Kolibri 多 | 英语 token 数 | 比 Kolibri 多 | | --- | --- | --- | --- | --- | | Kolibri 1 | 35,190 | 39,875 | | | | `o200k_base`（GPT-4o、GPT-5、GPT-OSS（https://huggingface.co/openai/gpt-oss-120b）） | 41,482 | 17.9% | 39,737 | -0.3% | | Qwen3.5 35B-A3B（https://huggingface.co/Qwen/Qwen3.5-35B-A3B） | 42,907 | 21.9% | 41,650 | 4.5% | | Mistral Small 4（https://huggingface.co/mistralai/Mistral-Small-4-119B-2603） | 43,478 | 23.6% | 41,301 | 3.6% | | Gemma 4 | 43,850 | 24.6% | 41,564 | 4.2% | 在德语法律文本上，Kolibri 所需的 token 比 GPT-5 的分词器少 15%，甚至超过了 Aleph Alpha 自己声称的 11.2%，而在英文上则与之持平。这结果很惊人。token 越少，读写同一段德语文本所需的步骤就越少，相同的上下文窗口能容纳的德语内容也就越多。（我用各自的 `tokenizer.json` 配合 Hugging Face 的 `tokenizers` 库来统计每个分词器，唯独 `o200k_base` 我是用 tiktoken 统计的。） ### 3. 大多数层只看附近 Kolibri 的 50 层中有 40 层采用滑动窗口注意力（sliding-window attention）：每个 token 只能看到它前面的 512 个 token。每隔 5 层，就会有一层看到它前面的所有 token。这就像读一份长合同时，主要专注于当前所在的句子，每隔几页停下来通览全文——这也正是它能让 100 万 token 上下文变得可用的关键。 这里还有一个巧妙的细节：只有滑动窗口层知道每个 token 的位置（通过旋转位置嵌入，rotary position embeddings，https://arxiv.org/abs/2104.09864），而全注意力层不知道。因此，上下文可以越过训练时的 262,144 token 而无需任何额外的位置技巧。Aleph Alpha 验证到了 1,048,576 token。 在我的演讲《Unlocking Value with AI Today》（https://www.youtube.com/watch?v=uMksIqpbVoY&t=364s）中，我曾把有限上下文列为生成式 AI"三大问题"之一，与幻觉和知识截止日期并列。Kolibri 三个问题全部瞄准。在 100 万 token 下，在 RULER 长上下文测试（https://arxiv.org/abs/2404.06654）中，Kolibri 的基座模型得分 63.2，而 Qwen3.5 35B-A3B 的基座模型为 57.5。 ### 4. 用德语思考 推理模型会在回答之前先思考，但即便面对德语提示词，它们大多用英语思考。Aleph Alpha 在 9 月 24 日就此发过一篇帖子（https://x.com/Aleph__Alpha/status/2103139585039511700），并在博客《Through the Valley of Tears》（https://aleph-alpha.com/en/blog/through-the-valley-of-tears-cold-starting-german-reasoning-in-llms/）中详细记录：他们生成了约 80 万条德语推理样本，结果发现少量德语推理数据反而比没有更糟。他们的模型在德语数学测试上的分数从 70.2 骤降到 48.3，因为它的德语思维总是在原地打转、无法完成，直到补充了大量德语数据后才回升到 67.3。 Kolibri 得到了那些大量德语数据。它在面对德语提示词时用德语思考，在激活参数约为 30 亿的模型中，它的德语数学成绩是最好的：AIME 2025 德语版得分 87.5，而第二名 NVIDIA 的 Nemotron 3 Nano（https://developer.nvidia.com/nemotron）为 84.4。 ### 5. 它被训练成会说"我不知道" 幻觉是我提出的"三大问题"之首，那次演讲给出的解法是检索增强生成（RAG）：查找好的、权威的信息并放进提示词。但 RAG 只有在模型承认文档中没有答案时才有效，这正是 Aleph Alpha 使用自己的方法——Merlin-Arthur 协议（https://arxiv.org/abs/2512.11614）——所训练的。 这个方法像一个三人游戏。Arthur 是模型，他拿到一个问题，其中部分支撑文档被隐藏了。Merlin 负责隐藏某些内容，使正确答案更容易找到，而 Arthur 被训练成去回答这些问题。Morgana 则隐藏答案所依赖的证据，而 Arthur 被训练成说他不知道。Arthur 永远不知道自己面对的是两者中的哪一个，因此唯一的获胜方式就是认真检查面前的证据是否真的支撑某个答案。 效果是可见的。在 Artificial Analysis 的 Omniscience 测试（https://artificialanalysis.ai/evaluations/omniscience）中，当 Kolibri 不知道答案时，它有 44% 的概率会直接说出来（或者给出部分回答），而不是编造一个。Qwen3.5 35B-A3B 只有 11.1%，GPT-OSS 120B 为 23.7%。在 Aleph Alpha 对比的所有 MoE 模型中，只有 Qwen3.6 35B-A3B（https://huggingface.co/Qwen/Qwen3.6-35B-A3B）做得更好，为 56.7%。 ### 6. 你可以自己选择它思考多深 每个请求都可以设置 `reasoning_effort` 为 `none`、`low`、`medium` 或 `high`，所以一次快速查询可以立刻得到回答，而一个难题可以长时间深思，都在同一个模型、同一台服务器上完成。 ## Kolibri 擅长什么 以下是 Aleph Alpha 评估中，Kolibri 领先于同规模开源模型的项目。该评估使用相同的设置运行所有模型，并采用各模型厂商推荐的采样参数： | 项目 | Kolibri | 激活参数约 30 亿的最接近模型 | | --- | --- | --- | | 英语综合得分 | 75.5 | 74.7（Qwen3.5 35B-A3B） | | 德语综合得分 | 70.8 | 69.8（Qwen3.5 35B-A3B） | | AIME 2025，英语 | 96.9 | 89.6（Nemotron 3 Nano） | | AIME 2025，德语 | 87.5 | 84.4（Nemotron 3 Nano） | | 基于未见过的公司文档的问答，英语 | 89.7 | 87.0（Qwen3.5 35B-A3B） | | 100 万 token 长上下文（基座模型） | 63.2 | 58.5（Nemotron 3 Nano） | 数学是其中最亮眼的部分：在英语 AIME 2025 和 2026 中，它击败了对比中所有的 MoE 模型，包括那些激活 120 亿参数的模型，只有稠密模型 Qwen3.8 27B 得分更高。公司文档那一行是 Aleph Alpha 仿照客户真实场景构建的 5 项测试，覆盖半导体、德国公共部门、航空航天、汽车供应商和工业驱动领域，所有文档和问题在训练时从未出现过。 ## Kolibri 不擅长什么 Aleph Alpha 在模型卡中把最弱的项目与最强的项目并列公布，以下是这些内容： - **它的记忆知识更少。** 在闭卷测试（即不提供文档的 RAG Benchmark（https://arxiv.org/abs/2309.01431）问题，得分 51.0）中，它在 12 个模型中垫底，而 Omniscience 测试中只有 14.8% 的回答正确，Qwen3.5 35B-A3B 为 22.2%。它知道自己不知道什么——这很好——但它知道的确实更少：放进提示词里的文档它能用好，但当问答知识库可不行。 - **多轮工具调用较弱。** 在 Berkeley Function Calling Leaderboard（https://gorilla.cs.berkeley.edu/leaderboard.html）的多轮测试中得分 39.8，GLM-4.7 Flash（https://huggingface.co/zai-org/GLM-4.7-Flash）为 58.2，Qwen3.5 35B-A3B 为 54.0。 - **它不是最好的编码智能体。** 在 Terminal-Bench 2.1（https://www.tbench.ai/）中得分 27.7，Qwen3.5 35B-A3B 为 39.7；在 SWE-bench Verified（https://www.swebench.com/）中得分 66.4，Qwen3.6 35B-A3B 为 73.8。 - **长上下文在中间段出现下滑。** 在 RULER 的 128,000 token 测试中，Qwen3.5 基座模型得分为 89.9，而 Kolibri 为 67.9。Kolibri 只在极长上下文处才反超。 - **显存。** 78 GB 的权重意味着至少需要一两张数据中心 GPU，笔记本电脑完全跑不起来，哪怕 35 亿激活参数听起来很轻。 - **配套设施还不成熟。** 它需要 Aleph Alpha 的 vLLM 插件（https://github.com/Aleph-Alpha/aleph-alpha-inference），该插件一次只支持一个 vLLM 版本（目前是 0.29），而且在发布当天还没有任何托管服务提供它。 - **只支持两种语言。** 这是有意为之：模型卡称这是"深度优于广度的有意选择"。 - **更大的稠密模型可以胜过它。** Qwen3.8 27B（https://huggingface.co/Qwen/Qwen3.8-27B）在英语上得分为 80.2，德语 79.9，但每个 token 都需要使用近 8 倍的参数量——而 Kolibri 正是围绕这个取舍构建的。 ## 如何运行 Kolibri 你需要大约 78 GB 的 GPU 显存：至少 2 张 80 GB 的 NVIDIA A100 或 H100（https://www.nvidia.com/en-us/data-center/h100/），或者单张 H200（https://www.nvidia.com/en-us/data-center/h200/）、B200 或 B300。我还没有真正跑过这个模型，因为它需要数据中心级别的 GPU，而且目前还没有任何托管服务提供，所以以下内容直接来自模型卡。首先安装插件，它会安装其支持的 vLLM（https://docs.vllm.ai/）版本： `` pip install 'aleph-alpha-inference>=1' vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \ --reasoning-parser kolibri1 \ --tool-call-parser kolibri1 \ --enable-auto-tool-choice `` 这样就得到一个 OpenAI 兼容的服务，任何 OpenAI 客户端都可以调用它，然后……