MiniCPM-V 4.5：通过架构、数据与训练配方打造高效多模态大语言模型

Papers with Code Trending 论文
multimodal-llm efficient-ai reinforcement-learning architecture-optimization open-source

摘要

MiniCPM-V 4.5 是一款 8B 参数规模的多模态大语言模型，凭借统一的 3D-Resampler 架构、创新的数据策略以及混合强化学习方法，实现了高效率与卓越性能。据悉，该模型在显著降低 GPU 显存占用与推理耗时的同时，综合表现已超越更大规模的闭源及开源标杆模型。

多模态大语言模型（MLLMs）正飞速发展，代表了人工智能领域的前沿方向。然而，训练与推理效率已成为制约多模态大语言模型进一步普及与规模化应用的核心瓶颈。为应对上述挑战，我们推出了 MiniCPM-V 4.5，这是一款专为兼顾高效率与卓越性能而设计的 8B 参数模型。我们在模型架构、数据策略与训练方法三个维度引入了核心改进：采用统一的 3D-Resampler 架构，实现对图像和视频的高度紧凑编码；建立统一的学习范式，在无需繁重数据工程的前提下处理文档知识与文本识别；应用混合强化学习策略，使模型同时精通短时与长程推理模式。OpenCompass 评估平台的综合实验结果表明，MiniCPM-V 4.5 的综合表现已超越 GPT-4o-latest 等广泛使用的闭源模型，以及 Qwen2.5-VL 72B 等参数量大得多的开源模型。值得注意的是，该模型在实现卓越性能的同时，依然保持了极高的运行效率。例如，在广泛采用的 VideoMME 基准测试中，MiniCPM-V 4.5 在 30B 参数以下的模型中斩获最优性能，其 GPU 显存开销仅为 Qwen2.5-VL 7B 的 46.7%，推理耗时更是低至后者的 8.7%。
查看原文
查看缓存全文

缓存时间: 2026/05/12 12:47

论文页面 - MiniCPM-V 4.5：通过架构、数据与训练配方打造高效多模态大语言模型

来源：https://huggingface.co/papers/2509.18154

摘要

MiniCPM-V 4.5 是一款拥有 80 亿参数的多模态大语言模型，通过统一的 3D-Resampler 架构、统一的学习范式以及混合强化学习策略，实现了高性能与高效率。

多模态大语言模型 (https://huggingface.co/papers?q=Multimodal%20Large%20Language%20Models)（MLLMs）正经历快速发展，代表了人工智能领域的前沿。然而，其训练和推理效率已成为限制 MLLMs 进一步普及和扩展的核心瓶颈。为应对这些挑战，我们推出了 MiniCPM-V 4.5，这是一款专为高效率与强性能设计的 80 亿参数模型。我们在模型架构、数据策略和训练方法三个方面引入了三项核心改进：用于图像和视频高度紧凑编码的统一 3D-Resampler (https://huggingface.co/papers?q=3D-Resampler) 模型架构；无需繁重数据工程即可掌握文档知识与文本识别的统一学习范式 (https://huggingface.co/papers?q=unified%20learning%20paradigm)；以及擅长短程与长程推理模式的混合强化学习策略。在 OpenCompass 评测 (https://huggingface.co/papers?q=OpenCompass%20evaluation) 中的综合实验结果表明，MiniCPM-V 4.5 超越了 GPT-4o-latest 等广泛使用的闭源模型，以及 Qwen2.5-VL 72B 等体积显著更大的开源模型。值得注意的是，其卓越性能是在极高的效率下实现的。例如，在广泛采用的 VideoMME 基准测试 (https://huggingface.co/papers?q=VideoMME%20benchmark) 中，MiniCPM-V 4.5 在 300 亿参数以下的模型中取得了最先进的性能，而其 GPU 显存占用仅为 Qwen2.5-VL 7B 的 46.7%，推理时间仅为后者的 8.7%。

查看 arXiv 页面 (https://arxiv.org/abs/2509.18154)查看 PDF (https://arxiv.org/pdf/2509.18154)GitHub 24.6k (https://github.com/OpenBMB/MiniCPM-V)添加至合集 (https://huggingface.co/login?next=%2Fpapers%2F2509.18154)

在您的代理中获取此论文：

hf papers read 2509.18154

尚未安装最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 (19)

openbmb/MiniCPM-V-4_5 Image-Text-to-Text • 9B • 更新于 3月10日 • 135k • 1.09k (https://huggingface.co/openbmb/MiniCPM-V-4_5)

openbmb/MiniCPM-V-4.6 Image-Text-to-Text • 1B • 更新于约 6 小时前 • 360 (https://huggingface.co/openbmb/MiniCPM-V-4.6)

openbmb/MiniCPM-V-4_5-gguf Image-Text-to-Text • 8B • 更新于 3月10日 • 20k • 62 (https://huggingface.co/openbmb/MiniCPM-V-4_5-gguf)

openbmb/MiniCPM-V-4_5-int4 Image-Text-to-Text • 9B • 更新于 3月10日 • 3.76k • 14 (https://huggingface.co/openbmb/MiniCPM-V-4_5-int4)

浏览引用本文的 19 个模型 (https://huggingface.co/models?other=arxiv:2509.18154)## 引用本文的数据集 (2)

openbmb/RLAIF-V-Dataset 预览 • 更新于 2025年10月14日 • 1.86k • 215 (https://huggingface.co/datasets/openbmb/RLAIF-V-Dataset)

YigeLi/RLAIF-V-Dataset 查看器 • 更新于 15 天前 • 83.1k • 188 (https://huggingface.co/datasets/YigeLi/RLAIF-V-Dataset)

引用本文的 Spaces (24)

包含本文的合集 (9)

浏览包含本文的 9 个合集 (https://huggingface.co/collections?paper=2509.18154)

相似文章

MiniCPM4：面向终端设备的超高效大语言模型

Papers with Code Trending

MiniCPM4 是一款专为终端设备设计的高效大语言模型，通过稀疏注意力、数据筛选、训练算法和推理系统等方面的创新，在0.5B和8B参数版本上实现了强大性能。

MiniCPM-V 4.6

Product Hunt

MiniCPM-V 4.6 是一款专为移动设备优化的极致高效 13 亿参数视觉语言模型。

MiniCPM5-1B 表明小模型竞赛尚未结束

Reddit r/ArtificialInteligence

MiniCPM5-1B 是 OpenBMB 推出的一个拥有 10 亿参数的模型，在 AIME 2025 和 τ2-Bench Telecom 上取得了令人瞩目的成绩，超越了更大的模型。它从单个检查点同时提供快速模式和推理模式，这得益于包括监督微调、强化学习和在线策略蒸馏在内的三阶段后训练过程。