Apertus 1.5 发布说明

来源：https://huggingface.co/blog/swiss-ai/apertus-v15-release-notes

我们最新的版本 Apertus 1.5，在 8B 和 70B 的 Apertus 1.0 模型基础上扩展了图像/音频理解能力，新增可选的思考模式，上下文窗口扩大四倍，指令遵循能力更强，工具使用也更加出色。更新后的 8B 和 70B 模型权重（https://huggingface.co/collections/swiss-ai/apertus-v15）已于 2026 年 7 月 24 日以 Apache 2.0 许可证发布至 Hugging Face。更多细节可参阅项目技术报告（https://arxiv.org/abs/2610.15542），本文将对其进行概述。

Apertus 1.5 是在初代模型上的持续预训练：为 8B 模型新增了 4 万亿 token 的文本和多模态训练数据，为 70B 模型新增了 2 万亿 token，总计分别达到 19T 和 17T。与 Apertus 的每一次发布一样，这些模型是完全开放的：开放权重（https://huggingface.co/collections/swiss-ai/apertus-v15）、开放数据（https://github.com/swiss-ai/apertus-data-transparency/）、开放价值观（https://apertus-ai.org/pages/charter/），以及完整的训练细节（https://apertus-ai.org/pages/research/）。

核心增强

• 原生多模态理解： Apertus 1.5 除了文本之外，还支持图像和音频输入，可以将文档、图表和照片带入对话。模型还能处理口语语言，不过这仍处于实验阶段。
• 思考模式： 模型可以切换到思考模式，在回答之前先对输入进行推理，从而提升推理问题的表现。
• 长上下文： 上下文窗口扩大到 262,144 个 token，是 Apertus 1.0 的 4 倍。
• 更强的指令遵循： 比 Apertus 1.0 更好地遵循指令，带来更可预测、更准确的回答。
• 更强的工具使用： 模型经过训练，能更好地整合工具，更有效地使用外部工具和 API。
• 开放价值观： 更好地遵循 Apertus 宪章，使模型的价值观和原则更加透明。

训练流程

Apertus 1.5 训练流程：四个阶段的持续预训练，随后进行 SFT、长上下文 SFT、RLVR、DPO 和 SDPO（https://cdn-uploads.huggingface.co/production/uploads/650ed7adf141bc34f91a12ae/Xi58nSrPTd5_ASGNIg60g.png）完整的 Apertus 1.5 训练流程

通过 Tokenizer 实现多模态

我们在 v1.5 模型中以早期融合的方式引入多模态能力：图像和音频作为离散 token 与文本 token 一同进入 Apertus 的序列中，而不是使用独立的视觉编码器。图像使用 Emu3.5（https://arxiv.org/abs/2510.26583）tokenizer 进行编码（512×512 的图像变为 1,024 个 token），音频使用 WavTokenizer（https://arxiv.org/abs/2408.16532）进行编码（每秒 40 个 token）。我们仅扩展了词表，因此模型架构保持不变，训练速度与纯文本训练相同。模型能够理解图像和音频，但仅生成文本。

图片（https://cdn-uploads.huggingface.co/production/uploads/650ed7adf141bc34f91a12ae/D-7BaNY68Nigi5bTw3RH9.png）

预训练

从 Apertus 1.0 出发，我们在四个阶段进行持续预训练：

1. 非配对阶段： 文本加上独立的图像和音频，让模型学习新的模态。
2. 配对阶段： 图像-描述对和音频-转录对，让模型将这些模态与语言对齐。
3. 冷却阶段： 使用更高质量的数据，包含更多数学和代码内容。
4. 长上下文阶段： 上下文窗口从 8k token 逐步扩展到 262k token。

总体而言，超过一半的训练 token 是纯文本数据，这保留了 Apertus 1.0 的语言能力。文本数据使用了诸如 FineWeb2-HQ+（https://huggingface.co/datasets/epfml/FineWeb2-HQ-Plus）、FinePDFs 和 Nemotron-CC 等来源进行更新。所有新数据（包括多模态数据）都满足与之前相同的标准：公开可用、许可证宽松、且追溯性地尊重 robots.txt 选择退出。所有数据来源均在 apertus-data-transparency（https://github.com/swiss-ai/apertus-data-transparency）中列出。

后训练

后训练分为五个阶段：SFT → 长上下文 SFT → RL → DPO → 宪章对齐（SDPO）。

1. SFT： 使用 370 万条文本样本以及图像和语音数据。推理轨迹仅添加到模型无法独立解决的提示中。工具使用数据仅限于经过执行验证的轨迹。我们在 Hugging Face 上发布了所使用的文本 SFT 混合数据集（https://huggingface.co/datasets/swiss-ai/Apertus-v1.5-SFT-mix）。
2. 长上下文 SFT： 在完整的 262k 窗口上进行训练，恢复短上下文 SFT 所削弱的长上下文能力。
3. 带可验证奖励的强化学习（RLVR）： 在约 35 万条数学、代码、指令遵循、多语言和视觉提示上进行训练，混合开启和关闭思考模式。
4. DPO： 使用评判者评分的偏好对，提升聊天质量、工具使用和安全性。我们发布了偏好池（https://huggingface.co/datasets/swiss-ai/Apertus-v1.5-Preference-Pool）和训练对（https://huggingface.co/datasets/swiss-ai/Apertus-v1.5-Preference-Data）。
5. SDPO： 通过评判者反馈和自蒸馏，使模型与 Apertus 宪章（https://apertus-ai.org/pages/charter/）对齐。

评估结果

除了扩展的模型能力之外，我们还显著扩大了评估范围。在 Apertus 1.0 所使用的现有文本评估之外，我们新增了多模态评估（图像和音频）和思考模式评估。

文本表现图表（https://raw.githubusercontent.com/swiss-ai/model-cards-assets/main/apertus_1.5/text_performance_plot.png）

多模态评估通过 MLLM-eval-suite（https://github.com/swiss-ai/MLLM-eval-suite）流程完成，该流程整合了两个主要的多模态评估框架 lmms-eval（https://github.com/swiss-ai/lmms-eval）和 VLMEvalKit（https://github.com/swiss-ai/VLMEvalKit）。我们还新增了一系列文本基准测试，以及翻译和多语言能力、安全性和工具使用方面的扩展基准测试。这些可以在我们的后训练评估仓库（https://github.com/swiss-ai/evals-post-train）中找到，该仓库基于 lm-evaluation-harness 的分支（https://github.com/swiss-ai/lm-evaluation-harness）。

视觉表现图表（https://raw.githubusercontent.com/swiss-ai/model-cards-assets/main/apertus_1.5/visual_performance_plot.png）

虽然仍落后于前沿开源权重模型，但新版本在编码和指令遵循能力方面也有显著提升。Apertus 1.5 8B 在指令遵循（IF）和多语言任务上的表现超过了同等规模的开源权重模型。思考模式进一步提升了在 AIME 等高难度推理基准测试上的表现。模型的多模态性能接近 Gemma 4 12B（https://deepmind.google/models/gemma/gemma-4/）和其他当前的开源权重模型。Apertus 1.5 的多模态性能在开源权重模型中的空间理解能力和开源模型中的文档/图表理解能力方面具有竞争力。

我们也要感谢合作者和外部评估人员在高效评估 Apertus 能力方面的帮助。特别值得一提的是，Apertus 1.5 在瑞士法律任务上表现出色，与领先的开源权重模型持平（博客（https://github.com/JoelNiklaus/SwissLegalEvals/blob/main/blog/swiss-legal-evals-2026.md），代码（https://github.com/JoelNiklaus/SwissLegalEvals））。此外，在 Last Translation Benchmark 上，Apertus 1.5 8B 展示了与 GPT-OSS-20B（https://arxiv.org/abs/2508.10925）相当的机器翻译能力，并超越了 Claude Haiku 4.5（https://www.anthropic.com/claude/haiku）或 Google Translate（https://translate.google.com/）等模型（排行榜（https://last-translation-benchmark.vilda.net/leaderboard-results），论文（https://huggingface.co/papers/2609.04173））。

评估卡片：Apertus ❤️ EvalEval

Apertus 与 EvalEval 联盟（https://evalevalai.com/）合作，确保完全透明和可复现的基准测试。我们以 Every Eval Ever（EEE）（https://github.com/evaleval/every_eval_ever）schema 发布 Apertus 1.5 的评估结果，这是一种共享格式，不仅记录分数，还记录评估的执行者、模型的访问方式、生成设置以及每个指标的解读方式——这些细节在排行榜上经常缺失，且往往是看似相似的分数产生差异的原因。

评估结果如下方的评估卡片所示，该卡片将运行数据与基准测试和模型元数据整合为一条可解读的记录，也可通过 Hugging Face Community Evals（https://huggingface.co/blog/eee-community-evals）获取。英国 AI 安全研究所（UK AI Security Institute）也使用相同的基础设施来公开发布其评估结果（https://huggingface.co/blog/evaleval-aisi）。由于我们的文本评估在 lm-evaluation-harness 的公开分支上运行，而 EEE 提供了专用转换器来支持该分支，任何人都可以在相同设置下重新运行评估并将结果与我们进行比较。

结构化评估报告的重要性不仅限于研究领域。EvalEval 已将评估卡片与 AI 治理要求进行了映射（https://evalevalai.com/infrastructure/2026/09/28/mapping-evaluation-cards-to-ai-governance-requirements/），包括欧盟 AI 法案第 55 条和 GPAI 行为准则，并发现 EEE schema 能够表示这些框架所要求的 60 项评估报告要素中的 56 项。这与我们发布 Apertus 的方式一脉相承：除了模型之外，我们还发布了训练内容的公共摘要（https://github.com/swiss-ai/apertus-legal/raw/main/apertus_1.5/Apertus_1_5_EU_Public_Summary.pdf），以及自愿发布的实践准则（Code of Practice）文档（https://raw.githubusercontent.com/swiss-ai/apertus-legal/main/apertus_1.5/Apertus_1_5_EU_Code_of_Practice.pdf）。机器可读的评估记录是自然的下一步：让监管者、部署者和研究人员更容易查找、解读和比较支撑模型的证据。

我们致力于通过评估卡片和 EEE schema 推动可复现和透明的评估，并鼓励其他模型开发者以相同方式报告结果，从而使分数能够在不同模型和组织之间进行比较。

Apertus 1.5 可复现性

所有的训练配方、消融实验和数据混合方案都记录在技术报告（https://arxiv.org/abs/2610.15542）中。我们致力于通过公开 v1.5 的训练流程并使其易于获取，来推广开放模型开发。中间检查点托管在我们的 Apertus 1.5 Hugging Face 集合（https://huggingface.co/collections/swiss-ai/apertus-v15）中，包括基础权重、SFT、RLVR 和 DPO 检查点，以及我们精心策划的训练数据混合/自定义数据集（Apertus 1.5 数据集集合（https://huggingface.co/collections/swiss-ai/apertus-v15-datasets））。分享这些检查点使研究人员能够研究每个阶段如何改变模型行为。

报告涵盖了后训练数据在不同阶段效果的大量消融实验，我们观察到，在 SFT 阶段将多模态数据与文本数据混合使用有助于提升所有模态的表现。我们还发现，多模态推理轨迹的收益在后续的纯文本强化学习中得以保留：从使用多模态轨迹训练的 SFT 检查点出发，RL 在数学能力上的提升比从纯文本检查点出发更大，而且在推理任务上的优势贯穿整个训练过程。

模型可用性

Proton Lumo（https://proton.me/support/apertus-lumo）和 Infomaniak Euria（https://www.infomaniak.com/en/support/faq/2924/discover-euria-and-the-apertus-model）是两个近期集成 Apertus 1.5 的广受欢迎的应用。这些部署已在社区展示（Community Showcase）（https://apertus-ai.org/pages/get-showcase/）中列出——详见此讨论帖（https://github.com/swiss-ai/www-apertus/discussions/66）了解预览。

多家提供商已宣布以 API 形式向开发者提供 Apertus 1.5，包括 Swisscom（https://docs.cloud.swisscom.ch/guide/cloud-services/aip/models/apertus-1_5_70B）、Infomaniak（https://www.infomaniak.com/en/hosting/ai-services/open-source-models）、Phoeniqs（https://documentation.kvant.cloud/maas/active-models/）以及我们通用可用性指南中列出的其他公司。