@andimarafioti:没有视觉编码器,VLM也能‘看见’吗?我们受Gemma 4 12B启发,花100美元训练了一个。在M3 Pro MacBook上的延迟:…
摘要
研究人员受Gemma 4 12B启发,仅花费100美元训练了一个无需视觉编码器的视觉语言模型,在M3 Pro MacBook上实现了端到端延迟降低30%。
查看缓存全文
缓存时间: 2026/06/18 18:19
VLM 能否在没有视觉编码器的情况下“看见”?
我们受到 Gemma 4 12B 启发,花 100 美元训练了一个模型。 在 M3 Pro MacBook 上的延迟表现: 图像路径从 112 ms 降至 1.1 ms 端到端(图像+LLM)延迟降低 30%
架构非常简单: 将图像分块 → 带位置嵌入的线性投影 → LLM
详细说明: https://huggingface.co/spaces/HuggingFaceM4/encoder-free-vlm…
无编码器 VLM - HuggingFaceM4 在 Hugging Face 上的空间
来源:https://huggingface.co/spaces/HuggingFaceM4/encoder-free-vlm 正在从 HF Docker 仓库获取元数据…
相似文章
我训练了一个500M参数的VLM,能够回答关于图像的输入问题(选择/评分/是与否),并提供校准的概率。在M1 Pro上约400毫秒,无文本生成 [P]
一个小型视觉语言模型,能够回答关于图像的输入问题并提供校准的概率,针对消费级硬件的快速推理进行了优化。
仅用64个视觉token,460M VLM在iPhone上首token延迟降至0.3秒
VisionPsy-Nano-460M-Flash 是一款全新的460M视觉语言模型,每张图像仅使用64个视觉token,在iPhone上首token延迟降至0.3秒,同时保留了完整模型约99%的基准分数。这种优化牺牲了部分OCR和精细细节质量。
UltraViT:面向大型视觉语言模型的延迟优化端侧视觉编码器
UltraViT 是一个面向大型视觉语言模型的延迟优化视觉编码器,专为端侧部署设计,采用金字塔架构和两阶段生成式预训练策略,以1.7倍速度实现最先进的性能。
LFM2.5-VL-3B for Better and Faster Vision Capabilities for the Edge
LiquidAI announces LFM2.5-VL-3B, an efficient vision-language model for edge hardware with improved screen understanding, grounding, multi-image input, and function calling, trained with 4x more vision data and post-training via SFT and RL.
我通过在10万个示例上训练一个40M连接器,为DeepSeek V4 Flash赋予了基础视觉能力
作者在10万个样本上训练了一个40M参数的连接器,使DeepSeek V4 Flash获得基础的视觉能力,同时冻结语言模型和MoonViT图像编码器,展示了将纯文本MoE转变为基础VLM的低成本方法。