@qian_crypto: 模型训练的博客:Glance: Data Matters More Than Architecture https://happyfox.dev/blog/glance/
摘要
张乾与高泽轩在 Colab 上用逾万 GPU 小时训练出轻量语义图像识别模型 Glance(3GB 显存、0.1 秒内扫描 256+ 图像),并通过对照实验证明:相比架构改动,训练数据质量才是决定 grounding 能力的关键。
查看缓存全文
缓存时间: 2026/11/21 16:25
Glance:数据比架构更重要 — Qian Zhang
来源:https://happyfox.dev/blog/glance/ 过去三天里,我和 Zexuan Gao 在 Colab 上训练了 Glance,总共消耗了超过 10,000 GPU 小时。这是一个用于语义图像识别的通用模型。它仅需 3 GB 显存,就能在不到 0.1 秒的时间内,从超过 256 张图片中识别出你描述的内容。用一句话描述你想找的东西,它会告诉你在哪张图片、什么位置,或者告诉你不在任何一张图里。
观看演示视频(https://happyfox.dev/research/glance/glance-demo.mp4)COCO 验证集图片上的真实模型输出。## 起因
最初来自朋友 Huangdou 的一个请求:在一段长视频中找到某个特定物体出现的位置。
通常的做法是把视频交给视频模型,或者让多模态 LLM 逐帧分析。这两种方式都很昂贵且缓慢。LLM 会完整读取每一帧,然后逐 token 生成答案,而 Huangdou 只需要一个判断:这个物体是否在这一帧里,如果在,位置在哪里。
于是我们按照 jev(https://huggingface.co/autotrust/JEV-27B-VL)的方式构建了它:模型只读取输入一次,然后直接从其内部状态中读取决策概率,而不需要生成文本。对图片来说,这意味着每张图片只读取一次。之后,无论你问多少个问题、扫描多少张图片,每个问题的额外计算开销都非常小,答案是一个边界框和物体存在的概率。
架构不重要,数据才重要
对于这样的模型,很容易把精力花在架构上:图像和文本在第几层融合、是否添加专用解码器、模型先读图像还是先读文本。我们对这些都进行了对照实验,结果发现影响都很小。
架构改动效果 图像和文本先各自处理 8 层再融合,与从第一层就融合相比 Grounding 准确率 87.0% vs 87.4% 同一组权重,三种读取顺序:图像优先、文本优先、同时读取 RefCOCO 系列平均 90.7%、89.4%、90.9% 在输出头之前加 2 层或 4 层双向解码器 没有持续的增益
真正改变模型能力的是数据。下表对比了仅使用现有公开数据训练的模型和额外使用我们构造数据训练的模型,在 300 张从未参与训练的图片上的表现:
请求类型指标仅用现有数据使用新数据后 仅类别名(“一条领带”) Grounding 准确率 40.3% 85.0% 正确的物体、错误的属性(“一头黑色的牛”) 正确拒绝 16.4% 94.9% 正确的物体、错误的关系 正确拒绝 8.1% 94.2% 错误的数量(“六只斑马”) 正确拒绝 56.8% 99.9% 某类别的所有实例(“所有斑马”) 至少命中一个 36.5% 61.4% 按功能描述(“可以坐的东西”) 至少命中一个 38.1% 58.3%
让只用现有数据训练的模型去找“一头黑色的牛“,只要图里有牛,它就会画一个框,哪怕所有牛都是棕白相间的。它学到的是找到句子中名词所指的东西,而不是判断句子描述的东西是否存在。它的训练数据中没有这样的例子,任何架构都无法教会它这一点。
现有数据缺少什么
目前使用最广泛的视觉 grounding 训练数据是 RefCOCO 系列:在 COCO 照片上,标注者写了一句话来描述一个物体。我们分析了它的训练集,超过 24,000 张图片和 350,000 条描述:
问题统计数据描述过短或过长RefCOCO 的描述中位数为 3 个词,22–26% 没有名词(“绿色衬衫”、“中左方”);RefCOCOg 的中位数为 8 个词,18% 超过 12 个词所有目标都有同类邻居100% 的目标在图片中至少有 2 个同类别物体,因此最常见的两种请求——“只要类别名“和“这个类别的全部”——从未出现许多物体从未被描述只有 42% 的合理大小的物体有描述;背包 11%、瓶子 16%、杯子 20%负例太容易78% 的负例指的是图片中根本不存在的类别;只有 7.7% 描述的是类别存在但细节不匹配的物体语言和视角狭窄全是英文;不到 1% 按功能描述物体;48% 的描述涉及人物
RefCOCO 的描述是为了从同类物体中挑出一个特定目标而写的,所以总是带有位置或外观的限定词。但人们搜索时往往只说“一只猫“或“所有人“。
负例最为关键。如果大多数负例只是图片中不存在的类别,模型只需识别类别就能正确回答,根本不需要检查细节。
评测集也存在同样的问题:在 RefCOCO 的 8 个评测划分中,没有一个问题的答案是“不存在“或“多个目标“,而 refcoco_testB 中 64% 的问题仅凭位置词就能回答。
构建新数据
我们保留标注者在 COCO 中画的框,只重写文本。
牧场上的一群牛:一个框标记正在吃草的大牛,两个框标记左侧躺着的两头牛“站着吃草的大牛“对应一个框,“左侧躺着的两头“对应两个框,而“一匹马“的答案是不在图中。 流水线分为三个步骤。首先,根据 COCO 标注列出每张照片中的物体及其位置。然后让 DeepSeek 看着照片和物体列表来编写请求。最后,用规则检查请求,并补充一批由规则直接生成的请求。LLM 只负责编写文本;框的位置和数量始终来自人工标注。
这些请求覆盖以下类型:
类型示例答案详细描述中间那头低着头吃草的棕白相间的牛1 个框简短随意的那头吃草的牛1 个框仅类别名一条领带(图中只有一条)1 个框某类别的所有实例所有斑马5 个框多个物体左侧躺着的两头牛2 个框按功能描述可以坐的东西所有椅子和沙发正确的物体、错误的细节一头黑色的牛(所有牛都是棕白相间的)不在图中错误的数量或位置六只斑马(实际有五头)不在图中
最难的是物体正确但细节错误的负例。在重写过程中,LLM 经常会不小心改变位置词,导致本应为“不存在“的描述恰好匹配了图中的另一个物体。我们增加了一条规则,丢弃所有位置词与原句不同的负例;仅这一条规则就淘汰了超过 70,000 条。
我们对每种类型各抽样 8 条请求,共 112 条,逐条对照图片人工检查。大约 90% 是正确的,所有细节错误的负例都是正确的。审查结果被反馈到规则中:非常小的物体不再获得“仅类别名“的请求,多目标描述必须提到每个目标。
在 24,000 张训练图片上生成数据大约花费 70 分钟和约 122 元的 API 费用:
现有新增合计请求数355,3851,831,1462,186,531多目标请求0273,816273,816类别正确但细节错误的负例6,820556,366563,186中文请求0886,029886,029按功能描述的描述不到 1%87,39087,390
描述的详细程度也更加均衡。统计句子中的线索(类别、外观、位置、关系)数量,现有描述中 43% 只有一个线索,3% 有三个;在新增数据中分别是 27% 和 16%。
Fox (@qian_crypto): 三天时间和 @mizorewww 创造出了 Glance,0.1s 内在 256 张图片中框选出精确目标,远超 @typesafeai 官方 jev 模型的 box 识别精度,拥有单图多框识别和强大的语义判定能力,精确到具体动作
以下是我们的精彩视频
相似文章
@haoge6699:想当年,微调大模型简直是天方夜谭——没有 GPU、没有预算、没有环境,普通人根本连门都摸不到……
Unsloth Studio 现已接入免费的 Google Colab,支持超过 500 个开源模型(如 Qwen、DeepSeek、Gemma),让普通用户无需 GPU 或付费硬件即可进行大模型微调。
@0xcherry: https://x.com/0xcherry/status/2067610347633025281
本文分析智谱GLM-5.2性能飞跃的原因,认为其40B激活参数在扣除固定开销后提供更大有效容量,使RL后训练更有效;同时回顾中国AI模型发展史,指出大模型路线最终获胜。
@bkdgiffug: 在不少人印象里,训练语言模型得先有博士文凭,外加一摞 GPU 才够格,这看法其实早该更新了。 偏有人只花五分钟、开一个 Colab 笔记本,就从零跑出个九百万参数的模型,取名 GuppyLM。 设定挺有意思——一条叫 Guppy 的鱼,开…
GuppyLM 是一个约 900 万参数的小型语言模型,可在单个 Colab 笔记本上用 5 分钟从零训练完成,模拟一条叫 Guppy 的鱼说话,旨在证明自训语言模型并非玄学、人人可上手。
@nini_incrypto_: Hugging Face 把 AI 训练全流程都自动化了啦! 最近有个叫 ml-intern 的项目在 GitHub 爆火,它就像一个 24 小时待命的算法实习生,能独立完成大模型的后训练(Post-training) 1.自主调研:它会…
Hugging Face 推出的 ml-intern 项目在 GitHub 上爆火,能够自主完成论文调研、数据处理、训练脚本编写和模型训练的全流程自动化,无需人工干预即可将小模型(如 Qwen3-1.7B)的性能大幅提升,甚至超越 Claude Code。
@servasyy_ai: https://x.com/servasyy_ai/status/2117209604174311760
作者用 RTX 5090、4090 和双卡 V100 实测 DeepSeek-V4.1-Flash-1017、Qwen-3.8-Flash-Next、Qwen-3.8-27b 三款本地开源模型,通过 Core-300 盲测与 200K+ 长文本压测对比其与 GPT-5.5、Opus-4.8 等云端模型的实际体感差距。