@mervenoyann:这条管线的第二天发现 > 它有效,在道路标志检测中针对人工标注得到了 map@50=0.8028,使用了……
摘要
Merve (@mervenoyann) 分享了使用多个小型 VLM 作为评判器的管线的第二天发现,在道路标志检测中仅用 1.3k 样本就达到了 map@50=0.8028。这条推文比较了模型拒绝率,讨论了数据集缩小、超具体提示以及泛化该库的计划。
查看缓存全文
缓存时间: 2026/06/18 06:09
关于此管线的第二天发现
它能正常工作,在道路标志检测任务上,仅用 1.3k 样本,针对人工标注就达到了 map@50=0.8028,结果如下所示
Liquid 拒绝的数量远多于 Gemma-4(在硬文档解析中 530 vs 306,在简单道路标志检测中 1022 vs 116),说实话它更小,在我进行人工抽查时也更容易产生幻觉 在某些情况下(见下方文档媒体解析示例),训练后的 RF-DETR 性能甚至超过了它训练时所使用的 Qwen 标注,这非常酷;有时裁判会引入边界框(而我没有移除它们),这算是赢了吗? 使用多个 VLM 作为裁判会根据问题的难度缩小你的数据集,有时仅从一个裁判那里获取一个“正确”标注就足够了。由于你在训练小型模型,最好分别启动“一致性共识”和“单一正确判定”两种训练方案
在标注和评判时,使用超级具体的提示词明确你想要和不想要的内容,特别是当你的标签词可能有多重含义时
下一步计划:让这个库更精简,以更好地泛化到不同问题;在分割任务上再试一次;实际使用 Gemma 进行编排
我所有的成果都在这里 https://huggingface.co/collections/merve/vision-intern… 包括标注数据集、评判数据集、训练模型、管线各部分等
还要感谢 @huggingface infra,我大量使用了 Buckets、Jobs、Dataset Viewer 等功能
@DataScienceHarp @skalskip92 @maximelabonne 你们可能对此感兴趣 ^
相似文章
@maximelabonne: 一款理解和探索 VLM 评估的便捷应用
一款共享应用,用于探索和了解视觉语言模型评估,参考了分析热门视觉基准测试的讨论串。
1/100 → 44/100:在50K浏览器截图上微调450M VLM
本文描述了使用50,000张浏览器截图微调450M VLM的过程,展示了从初始阶段到当前阶段的进展。
我通过在10万个示例上训练一个40M连接器,为DeepSeek V4 Flash赋予了基础视觉能力
作者在10万个样本上训练了一个40M参数的连接器,使DeepSeek V4 Flash获得基础的视觉能力,同时冻结语言模型和MoonViT图像编码器,展示了将纯文本MoE转变为基础VLM的低成本方法。
@yoheinakajima:在4B开放VLM上进行Jev式logit读取,实测:http://glance.yohei.me 与同一模型写入JSON相比:时间减少约1/3 …
Yohei Nakajima 提出一种方法,通过使用logits从冻结的开放视觉语言模型中读取类型化的视觉判断,达到与托管模型相似的准确性,同时减少时间和GPU成本。
我把一个 LLM 蒸馏成了两个 287M 编码器(GLiNER + 选择题模型)用于文档信息抽取,但始终比不上教师模型。我做错了什么吗?
一位从业者介绍了他将 LLM 的文档抽取标注(实体、动作、数值)蒸馏到两个 287M 参数编码器中的流程——一个 GLiNER 风格的片段标注器,外加一个用于实体消歧的选择题模型——以处理约 500 万份法院判决书,并请人反馈为什么效果不及教师模型。