Aleph Alpha 发布开源权重 Kolibri，支持 100 万 token 上下文（3 分钟阅读）

# Aleph Alpha 发布开源权重模型 Kolibri，支持 1M 上下文 来源：https://www.testingcatalog.com/aleph-alpha-releases-open-weight-kolibri-with-1m-context/ Aleph Alpha 已发布 Kolibri——一款面向政府及受监管行业中自主可控、关键任务场景的开源权重双语模型。这款英德双语 Mixture-of-Experts Transformer 拥有 781 亿参数，每个 token 激活 34.6 亿参数，支持最高一百万 token 的上下文，并可在 Hugging Face 上以 Apache 2.0 许可证下载完整权重。客户可以在本地部署运行，而无需将内部数据发送至第三方推理服务。 > 小鸟，疾速展翅，Kolibri 正式登场。78B 参数。3.46B 激活参数。最高 1M token 上下文。欧洲打造。现在权重归你所有。在你自己的硬件上运行，采用 Apache 2.0 许可证。pic.twitter.com/5263xZ9xZN (https://t.co/5263xZ9xZN?ref=testingcatalog.com) — Aleph Alpha (@Aleph__Alpha)2026 年 10 月 3 日 (https://x.com/Aleph__Alpha/status/2106306840657297814?ref_src=twsrc%5Etfw&ref=testingcatalog.com) Kolibri 基于早期的 Kolibri Origin 和 Aleph Alpha 的自动化 Model Factory 构建而成。新模型使用 768 块 B200 GPU 进行训练，首先在 21 天内完成 20 万亿 token 的训练，随后进行中期训练和长上下文适配，总训练量接近 24 万亿 token。其架构采用 384 个专家、每个 token 激活 6 个专家的设计，在 50 层中有 10 层使用全注意力，其余 40 层采用 512 token 滑动窗口以控制推理成本。尽管适配阶段达到 256,000 token，Aleph Alpha 仍提供了在 1,048,576 token 下进行推理服务的配置。 德语占预训练 token 的 21.3%，并配有包含 128,000 个词条的双语词表，以及一个旨在保留德语复合词的 tokenizer。模型提供四种推理设置——none、low、medium 和 high——此外还支持工具调用。Aleph Alpha 表示，该模型针对德语、数学、编码、长上下文任务和智能体任务进行了专门优化，并针对公共管理、汽车、半导体、工业技术和航空航天等领域提供了不使用客户数据的行业专属评测套件。 > 亲爱的 @Aleph__Alpha (https://x.com/Aleph__Alpha?ref_src=twsrc%5Etfw&ref=testingcatalog.com)团队——感谢你们将 Kolibri-1 开源。我们深切关注主权 AI，在德国统一日发布这个模型，让今天显得格外应景。作为支持的一点小小表示，我们已托管并在接下来的几周内让任何人免费试用 Kolibri-1……pic.twitter.com/mlUaFhjPCP (https://t.co/mlUaFhjPCP?ref=testingcatalog.com) — Konark Modi (@konarkmodi)2026 年 10 月 3 日 (https://x.com/konarkmodi/status/2106373678589960260?ref_src=twsrc%5Etfw&ref=testingcatalog.com) 在该公司的基准测试中，Kolibri 英语综合得分 75.5，德语综合得分 70.8。在 AIME 2025 中得分为 96.9，在 LiveCodeBench v6 中得分为 85.9，在 BFCL v4 综合测试中得分为 61.4。Aleph Alpha 表示，该模型在英语和德语上均处于质量与服务成本的 Pareto 前沿，在数学、代码、知识归因、智能体和长上下文任务上，可与激活参数量高达其四倍的模型相媲美。这些是厂商自行运行的结果，使用 Aleph Alpha 自有的评测框架，并在适用的情况下采用最高的可用推理设置。 知识归因能力是本次发布的核心。Kolibri 使用弃答示例和 Aleph Alpha 的 Merlin-Arthur 流程进行训练，该流程教会模型在证据缺失时拒绝作答。在 AA-Omniscience 数据集上，它在 44% 的题目上避免了给出错误答案，而 Kolibri Origin 仅为 14.8%，在公司自有的 M/A 知识归因评分中达到 0.23。Aleph Alpha 在德国研发了该模型，在德国和芬兰进行训练，并表示其对数据筛选、训练、评测、权重和部署的全流程掌控，旨在满足欧洲合规与主权要求。部署使用 Aleph Alpha 的推理包以及专为 Kolibri 定制的 vLLM 插件。 ## 来源与相关背景 - 通过 Aleph Alpha 的 vLLM 插件部署 Kolibri (https://github.com/Aleph-Alpha/aleph-alpha-inference?ref=testingcatalog.com)：支持：官方仓库详细说明了推理包以及用于部署该模型的 Kolibri 专用推理解析器和工具调用解析器。 - Aleph Alpha 的 Merlin-Arthur 知识归因方法如何运作 (https://aleph-alpha.com/en/blog/bounding-hallucinations-merlin-arthur-protocols-for-mutual-information-bounds-in-language-models/?ref=testingcatalog.com)：相关背景：该研究解释介绍了本文所讨论的文档知识归因与弃答机制背后的对抗性训练流程。 来源 (https://aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model/?ref=testingcatalog.com)