swiss-ai/Apertus-v1.5 70B/8B

https://huggingface.co/swiss-ai/Apertus-v1.5-70B https://huggingface.co/swiss-ai/Apertus-v1.5-8B Apertus 1.5是一个8B和70B参数的语言模型系列，旨在推动多语言、多模态、完全开放和透明AI的发展。这些模型支持多种语言，可处理高达262,144个令牌的上下文，并且仅使用完全开放的训练数据，同时提供与其他相似规模模型相当的性能。发布的模型是在Apertus 1.0的基础上继续预训练的结果，为8B模型增加了4T令牌的多模态混合数据，为70B模型增加了2T令牌。因此，Apertus 1.5使用与原始版本相同的架构，即采用xIELU激活函数的仅解码器Transformer，并使用AdEMAMix优化器进行训练。我们改进的后训练方案增强了模型的指令遵循和工具使用能力，并首次允许开发者启用思考模式，以提升模型在推理任务上的表现。作为Apertus系列的首创，Apertus 1.5模型支持多模态输入。模型可以接收图像、音频和文本作为输入，并生成文本。这为我们的开发者带来了许多令人兴奋的新用例。 主要特性 - 完全开放模型：开放权重 + 开放数据 + 完整的训练细节，包括所有数据和训练配方。 - 大规模多语言：支持多种语言。 - 负责任的开发：Apertus在训练过程中尽可能尊重数据所有者的退出同意（甚至追溯），并采用防止训练数据记忆的方法。 - 原生音频与图像理解：Apertus 1.5引入多模态支持，可处理音频和图像输入，实现超越文本的更直观、更灵活的交互。 - 推理：模型可切换至思考模式，在生成响应前对输入进行推理。 - 长上下文：Apertus 1.5默认支持长达262,144个令牌的上下文长度，相比最初的Apertus 1.0版本提升了四倍。 - 改进的指令遵循：指令遵循能力显著提升，确保对用户提示的响应更可预测、更准确。 - 改进的工具使用：Apertus 1.5经过训练以更好地集成工具，从而更有效地使用外部工具和API。 技术报告（包含更多详细信息、基准测试结果、训练流水线和中间检查点）将在未来几周内发布。