Apertus 1.5：从开放文本模型到开放多模态推理模型
摘要
Apertus 1.5 将完全开源的 Apertus 文本模型扩展为多模态推理模型，通过在 4T/2T 额外 token 上持续预训练加入图像与音频理解，并将上下文窗口扩展至 262K tokens；模型权重、数据配方与评测套件均以宽松许可发布。
查看缓存全文
缓存时间: 2026/10/15 07:02
论文页面 - Apertus 1.5: From Open Text Models to Open Multimodal Reasoners
Source: https://huggingface.co/papers/2610.15542
Authors:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
语言模型正在成为基础设施，而由公共机构基于公开数据以开放方式构建的基础设施，是替代依赖少数供应商的可行之路；Apertus 证明了这一愿景在规模化层面的可行性。Apertus 1.5 将完全开放的 Apertus 系列从文本扩展到多模态推理。通过对 Apertus 1.0 模型进行持续预训练（8B 模型额外使用 4T token，70B 模型额外使用 2T token），新增了图像和音频理解能力，并将上下文窗口扩展四倍至 262,144 个 token；多模态能力通过 tokenizer 进入模型，语言模型输出头仍限于文本，架构保持不变。监督微调、长上下文微调、基于可验证奖励的强化学习（RLVR）以及偏好对齐构成了已发布模型的完整训练流程。“思考“模式是聊天模板中的一个标志位，而非独立模型，在 8B 模型上可将数学推理能力提升多达 20 个百分点。已发布模型在几乎所有基准测试上都超越了前代模型；在同等类别的完全开放模型中，8B 模型在知识、指令遵循和文化基准测试上领先，其指令遵循能力超过了所有对比模型，包括开放权重模型。在图像和音频理解方面——这是该系列的首次尝试——模型与完全开放的多模态模型具有竞争力，在文档理解以及长语音和低资源语言语音识别方面表现最强，而专业视觉和音频模型在英语及其他高资源语言的感知和转写方面仍然领先。与 Apertus 1.0 相同，我们仅在公开可用的数据上训练，追溯性地尊重爬虫退出请求，并排除限制性许可的材料。我们在宽松许可下发布模型权重、数据预处理与训练配方以及评测套件；开放性延伸至价值观，与模型一同发布的 Apertus 宪章指导着对齐阶段。
View arXiv page (https://arxiv.org/abs/2610.15542)View PDF (https://arxiv.org/pdf/2610.15542)Project page (https://www.apertus-ai.org/)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2610.15542)
Get this paper in your agent:
hf papers read 2610\.15542
Don’t have the latest CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型9
swiss-ai/Apertus-v1.5-8B Image-Text-to-Text• 9B• Updatedabout 9 hours ago • 686k • 143 (https://huggingface.co/swiss-ai/Apertus-v1.5-8B)
swiss-ai/Apertus-v1.5-70B Image-Text-to-Text• 72B• Updatedabout 9 hours ago • 3.52k • 122 (https://huggingface.co/swiss-ai/Apertus-v1.5-70B)
swiss-ai/Apertus-v1.5-70B-RLVR Image-Text-to-Text• 72B• Updatedabout 24 hours ago • 13 • 3 (https://huggingface.co/swiss-ai/Apertus-v1.5-70B-RLVR)
swiss-ai/Apertus-v1.5-8B-base Image-Text-to-Text• 9B• Updatedabout 24 hours ago • 1.24k • 3 (https://huggingface.co/swiss-ai/Apertus-v1.5-8B-base)
Browse 9 models citing this paper (https://huggingface.co/models?other=arxiv:2610.15542)## 引用本文的数据集0
No dataset linking this paper
Cite arxiv.org/abs/2610.15542 in a dataset README.md to link it from this page.
引用本文的 Spaces4
包含本文的集合3
相似文章
Apertus 1.5 版本发布说明
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上，新增了原生图像/音频理解能力、可选的思考模式、扩展至 4 倍的 262K token 上下文窗口，以及改进的指令遵循与工具使用能力，并以 Apache 2.0 许可证开源发布权重。
Apriel Voice 27B 预览版：用于语音、推理和工具调用的开放模型
Apriel Voice 27B Preview 是一个开源语音-语言模型，基于 Gemma 4 26B-A4B 后训练检查点构建，通过两阶段训练将语音理解、推理与工具调用统一到共享推理骨干中，并在 Big Bench Audio、Speech-BFCL 和 τ-Voice 等基准上取得有竞争力的成绩。
swiss-ai/Apertus-v1.5 70B/8B
瑞士AI发布Apertus 1.5，一个全开放的8B和70B多语言多模态语言模型系列，支持高达262k上下文长度、音频/图像理解、推理模式，并改进了指令遵循和工具使用。
Apertus – 主权AI的开放基础模型
Apertus 是由瑞士AI计划开发的一款完全开放的主权AI基础模型。它拥有开放权重、开放数据、开放科学，符合欧盟AI法案，在8B和70B参数规模上与顶级开放模型具有竞争力，支持超过1000种语言。
@FakeMaidenMaker: MIT 刚开源了一个让大模型一口气读完千万 token 的推理库——RLM 来自 MIT CSAIL 的 OASYS lab，背后有 DSPy 和 ColBERT 的作者 Omar Khattab 参与，VentureBeat 都专门报道…
MIT 开源了 RLM（Recursive Language Models）推理库，通过让模型以编程方式递归调用自身来处理超长上下文，解决了传统模型上下文窗口有限的问题。