标签
OpenBMB 发布了 MiniCPM5-2B,一个拥有 20 亿参数的语言模型,目前尚未在 Hugging Face 上架。
MiniCPM-SALA是一款9B参数的混合注意力模型,通过在稀疏注意力和线性注意力之间交替插入(每3个线性层插入1个稀疏层)来克服长上下文Transformer的二次计算和KV缓存瓶颈。在256K tokens下,其推理速度比Qwen3-8B快3.5倍,并能在消费级GPU上支持高达1M tokens。该模型采用经济高效的持续训练方法,训练成本降低约75%。
OpenBMB 正在举办“Build Small”黑客马拉松,总奖金超过4万美元,聚焦于使用小模型(参数量≤32B)在 Hugging Face Spaces 上通过 Gradio 构建应用。报名截止日期为2026年6月3日。
MiniCPM5-1B 是 OpenBMB 推出的一个拥有 10 亿参数的模型,在 AIME 2025 和 τ2-Bench Telecom 上取得了令人瞩目的成绩,超越了更大的模型。它从单个检查点同时提供快速模式和推理模式,这得益于包括监督微调、强化学习和在线策略蒸馏在内的三阶段后训练过程。
OpenBMB 推出了 BitCPM-CANN,这是一款在华为 Ascend 910B 硬件上测试的 1.58 位模型。