@andimarafioti:没有视觉编码器,VLM也能‘看见’吗?我们受Gemma 4 12B启发,花100美元训练了一个。在M3 Pro MacBook上的延迟:…

X AI KOLs Timeline 模型

摘要

研究人员受Gemma 4 12B启发,仅花费100美元训练了一个无需视觉编码器的视觉语言模型,在M3 Pro MacBook上实现了端到端延迟降低30%。

没有视觉编码器,VLM也能‘看见’吗? 我们受Gemma 4 12B启发,花100美元训练了一个。 在M3 Pro MacBook上的延迟: 图片路径从112毫秒降至1.1毫秒 端到端(图像+LLM)延迟降低30% 架构非常简单: 将图像分块 -> 线性投影(含位置嵌入)-> LLM 详细说明: https://huggingface.co/spaces/HuggingFaceM4/encoder-free-vlm…
查看原文
查看缓存全文

缓存时间: 2026/06/18 18:19

VLM 能否在没有视觉编码器的情况下“看见”?

我们受到 Gemma 4 12B 启发,花 100 美元训练了一个模型。 在 M3 Pro MacBook 上的延迟表现: 图像路径从 112 ms 降至 1.1 ms 端到端(图像+LLM)延迟降低 30%

架构非常简单: 将图像分块 → 带位置嵌入的线性投影 → LLM

详细说明: https://huggingface.co/spaces/HuggingFaceM4/encoder-free-vlm…


无编码器 VLM - HuggingFaceM4 在 Hugging Face 上的空间

来源:https://huggingface.co/spaces/HuggingFaceM4/encoder-free-vlm 正在从 HF Docker 仓库获取元数据…

相似文章