@yoheinakajima:在4B开放VLM上进行Jev式logit读取,实测:http://glance.yohei.me 与同一模型写入JSON相比:时间减少约1/3 …
摘要
Yohei Nakajima 提出一种方法,通过使用logits从冻结的开放视觉语言模型中读取类型化的视觉判断,达到与托管模型相似的准确性,同时减少时间和GPU成本。
查看缓存全文
缓存时间: 2026/09/22 05:47
Jev风格对数值读取在开源4B视觉语言模型上的测试,测量结果:http://glance.yohei.me 与同一模型生成JSON的方式相比:在完整照片的单张判断中,响应时间减少约1/3,对多张图片的多个问题,GPU成本可降低最多85%,且在新照片上准确率相同:在“选择唯一答案“任务中与最佳托管模型持平(0.933 vs 0.937),在“是非判断“任务中落后Gemini约2个百分点 安装方式:pip install glance-vlm 代码库:http://github.com/yoheinakajima/glance…
Glance:从冻结的开源视觉语言模型读取结构化视觉判断
来源:https://glance.yohei.me/ glance-vlm · 工作论文 · v0.3.1 · 快照 8f36e06, 2026-09-21 · 所有实验在运行前已注册 · 结果可从代码库重现
从冻结的开源视觉语言模型读取结构化视觉判断
粗粒度识别能力已接近最佳托管模型(在“选择唯一“任务中持平,在“是非判断“任务中落后约2个百分点),这种能力已存在于小型开源视觉语言模型中,且无需生成文本即可读取。质量评分仍然困难的部分在于评分标准如何划分边界。在几何判断(相对大小、线条方向)方面,最佳托管模型表现完美,而通过这种方式读取的小型开源模型则相去甚远。
Yohei Nakajima · 独立研究 · 全程借助AI辅助构建(笔记本记录分工详情)
摘要(https://glance.yohei.me/#regimes) · 使用方法(https://glance.yohei.me/#useit) · 技术原理(https://glance.yohei.me/#method) · 是非判断与选择唯一答案(https://glance.yohei.me/#evidence) · 适用边界(https://glance.yohei.me/#stops) · 读取与生成对比(https://glance.yohei.me/#read) · 评分任务(https://glance.yohei.me/#ratings) · 模型规模与类型(https://glance.yohei.me/#models) · 成本与速度(https://glance.yohei.me/#cost) · 非创新点说明(https://glance.yohei.me/#new) · 局限性与不足(https://glance.yohei.me/#limits) · 参考文献(https://glance.yohei.me/#refs)
三阶段结果概览
摘要
结构化问题指其合法答案构成闭合集(模型运行前已知)的问题:是/否、列表选项、评分标准等级。我们向冻结的开源视觉语言模型(Qwen3-VL-4B,Apache-2.0协议,本地运行)提出此类图像问题,并从单次前向传播的对数值中读取答案;无需生成文本。
在模型发布后拍摄的新鲜照片上(由项目外人员标注,三组共541个是非判断问题和270张选择唯一答案的照片,所有系统均需处理),开源模型在选择唯一答案任务中与最佳托管模型持平(0.933 vs Claude Opus 5的0.937),在是非判断任务中落后最佳模型约2个百分点(0.939 vs Gemini 3.1 Flash-Lite的0.961;与Gemini两个模型的配对差异均排除零点)。我们未检测到其与Claude Opus 5和GPT-5.6在两项任务中的差异,且优于Claude Haiku 4.5和GPT-5.6 Luna。
在最具挑战性的相似昆虫分类数据集中,托管模型在选择唯一答案任务中跨越23个百分点(0.74至0.97),而开源模型得分0.96。这些问题相对简单且标注存在瑕疵:约3-5%的样本被所有七个系统“错误“回答。
读取方式与同一模型生成JSON同样准确。评分任务表现则不同:在五个图像质量评分标准下进行零样本测试,每个系统都能正确排序图像(开源模型在99%的图像上等级偏差不超过1级),但等级边界划分存在系统性偏差(每个评分标准存在固定偏移)。低成本托管模型领先(0.763 vs 0.669),而8B模型并不优于4B模型。
由于读取答案是对数值向量,可进行拟合:16张未标注的评分标准图像可消除大部分偏移(达0.758),32张标注图像可达0.857。托管模型未获得示例,因此这是产品对比而非模型对比。
在真实图像质量基准测试(KADID-10k)中,该方法未能达到我们注册的所有目标;手工特征和小型训练质量模型在低级伪影评估上表现相当或更优。在非图像质量评分标准(倾斜角度、主体裁剪比例)中,即使使用300张标注图像也仅达0.55。
开源模型成本与低成本托管模型处于同一数量级,较旗舰模型低1-2个数量级;图像无需离开本地设备。该读取方法与其它免训练工具共享,未声称创新;我们提供的是预先注册的测量结果及其局限性。
1 方法:单次前向传播中对允许答案评分
图像与问题输入冻结模型,助手回合留空(或强制开始JSON值),模型运行一次,仅保留答案位置对允许答案词元的对数值。对该闭合集进行温度1的softmax处理得到概率;无需采样、生成或解析。
图像 + 结构化问题(是/否、选择唯一、评分)
单次前向传播 → 冻结开源模型(本地) → 答案位置对数值 → 仅允许答案 → 概率分布 → 无需生成文本
是非判断
问题:...?回答 是 或 否
读取方式:“是”/“是的”/“yes”/“YES“四个词元的对数之和,减去“否“对应四个词元的对数之和;概率为差值的sigmoid值。
选择唯一答案(K选项)
问题:... 候选答案:X。此候选是否正确?回答 是 或 否
读取方式:为每个选项生成此类语句(共享同一图像前缀),计算每个选项的“是-否“对数值;对K个选项进行softmax。
多级评分(K等级)
"answer": 图像...程度如何?允许答案:0=...;1=...;(用数字回答)
助手回合强制开始 {"answer":
读取方式:下一位置数字0到K-1的对数值;softmax处理;得分为期望等级。
单次传播。
表1. 三种读取方式。图像调整至最多768个视觉令牌(28像素块),这决定了主要延迟。关于同一图像的多个问题可重用键值前缀并分支为独立后缀,互不影响;经100个请求验证,预测结果无变化。“零样本“指原始概率,未进行拟合。
两种拟合方式(因答案为对数向量):
无标注:在评分标准的小型未标注图像池上,每个等级对数值按池内均值和标准差进行中心化和缩放后再softmax。此假设模型排序正确,可消除固定偏移;无法移动缺乏证据的边界。
有标注:softmax前的对数值仿射映射(矩阵缩放,Guo et al. 2017),L2正则化,超参选择基于留出折;约32个标注即可。研究变体在模型最终隐藏态上拟合同一映射(线性探测)。
我们早期的四次传播评分读取法(数字正反序、有无放大裁剪)作为有标注拟合的输入效果更优,但零样本表现较差;第5节将报告两种结果。
明确案例:大胆跳蛛,iNaturalist 402011619 (CC BY, antimatterbee)
"主主体是否为蜘蛛或其他蛛形纲动物?" P(是)=1.00 ✓
"这是什么类型的生物?"(10个选项)蛛形纲 1.00 ✓
不确定案例:树皮上的真菌,iNaturalist 401937340 (CC BY, Марина Давлетшина)
"这是什么类型的生物?"(10个选项)真菌 0.63、昆虫 0.26、蛛形纲 0.11
✓ 但不确定
"主主体是否为昆虫?" P(是)=0.60 ✗ 但接近边界
"主主体是否为真菌?" P(是)=0.03 ✗ 但高度自信
开源4B模型的两个记录示例。大多数回答如第一个案例。第二个案例既展示了概率的意义(0.63和0.60是警示值),也表明概率并非保证(0.03是自信的误判)。
2 粗粒度是非判断与选择唯一答案:选择唯一任务与最佳托管模型持平,是非判断落后2个百分点
相同测试项发送至开源4B模型(读取方式,以及生成JSON方式)、三个托管旗舰模型及各提供商最低成本视觉模型。三项测试均为零样本:541个新鲜照片是非判断问题(三组合并)、270张新鲜照片选择唯一答案(三组合并)、41000张实验室图像精确等级评分(评分任务见第5节)。
是非判断
| 系统 | 准确率(↑) | 每答案耗时(↓) | 每千答案成本(↓) |
|---|---|---|---|
| Gemini 3.1 Pro | 0.96 | 2.74 s | $2.62 |
| Claude Opus 5 | 0.94 | 2.64 s | $3.37 |
| GPT-5.6 | 0.93 | 1.18 s | $7.55 |
| Claude Haiku 4.5 | 0.84 | 0.87 s | $1.75 |
| GPT-5.6 Luna | 0.91 | 1.22 s | $0.38 |
| Gemini 3.1 Flash-Lite | 0.96 | 1.63 s | $0.31 |
| Qwen3-VL-2B(生成) | 0.58 | 1.08 s | $0.20 |
| Qwen3-VL-2B + Glance | 0.90 | 0.66 s | $0.12 |
| Qwen3-VL-4B(生成) | 0.94 | 1.65 s | $0.30 |
| Qwen3-VL-4B + Glance | 0.94 | 1.08 s | $0.20 |
| Qwen3-VL-8B + Glance | 0.93 | 2.12 s | $0.39 |
选择唯一答案
| 系统 | 准确率(↑) | 每答案耗时(↓) | 每千答案成本(↓) |
|---|---|---|---|
| Gemini 3.1 Pro | 0.94 | 3.18 s | $3.85 |
| Claude Opus 5 | 0.94 | 2.98 s | $4.48 |
| GPT-5.6 | 0.90 | 1.34 s | $7.82 |
| Claude Haiku 4.5 | 0.79 | 0.92 s | $1.89 |
| GPT-5.6 Luna | 0.88 | 1.30 s | $0.40 |
| Gemini 3.1 Flash-Lite | 0.93 | 1.89 s | $0.34 |
| Qwen3-VL-2B(生成) | 0.84 | 0.94 s | $0.17 |
| Qwen3-VL-2B + Glance | 0.91 | 0.85 s | $0.16 |
| Qwen3-VL-4B(生成) | 0.93 | 1.87 s | $0.35 |
| Qwen3-VL-4B + Glance | 0.93 | 1.43 s | $0.26 |
| Qwen3-VL-8B + Glance | 0.93 | 2.65 s | $0.49 |
评分任务
| 系统 | 准确率(↑) | 每答案耗时(↓) | 每千答案成本(↓) |
|---|---|---|---|
| Gemini 3.1 Pro | 0.65 | 4.02 s | $6.15 |
| Claude Opus 5 | 0.55 | 2.42 s | >$18.70 估 |
| GPT-5.6 | 0.60 | 1.07 s | >$14.96 估 |
| Claude Haiku 4.5 | 0.61 | 0.72 s | $0.55 |
| GPT-5.6 Luna | 0.69 | 1.10 s | $0.12 |
| Gemini 3.1 Flash-Lite | 0.76 | 1.62 s | $0.33 |
| Qwen3-VL-2B(生成) | 0.06 | 0.30 s | $0.06 |
| Qwen3-VL-2B + Glance | 0.49 | 0.22 s | $0.04 |
| Qwen3-VL-4B(生成) | 0.67 | 0.91 s | $0.17 |
| Qwen3-VL-4B + Glance | 0.67 | 0.45 s | $0.08 |
| Qwen3-VL-8B + Glance | 0.64 | 0.64 s | $0.12 |
图1. 所有系统的准确率、耗时和成本(按问题类型分类,纵轴从零开始),基于所有系统均作答的项目(表2给出计数)。黑色柱状图表示使用Glance读取的笔记本电脑开源模型;其上方较浅柱状图表示同一模型生成JSON方式(2B和4B;8B模型的生成数据未收集)。任何系统中,若生成答案无法解析或非允许值,则视为错误;此规则导致2B模型生成分数损失最大(35%的是非判断答案和86%的评分答案格式错误,通常缺少花括号)。宽松评分时(取文本中第一个允许答案),其分数可达0.91、0.91和0.49:读取方式免去了小模型的格式化负担,但并未使其更智能。虚线柱为估计成本;超出测量范围的估计值截断并标注›。
在任一照片集中,每个95%置信区间与其他区间重叠,这既说明样本量限制,也反映系统间差异。合并三组照片并在相同项目上配对后,差异显现。
是非判断(541项)中,开源模型得分为0.939 [0.917, 0.959]。未检测到与Claude Opus 5(+0.2点 [-1.7, +2.1])或GPT-5.6(+1.1点 [-0.7, +3.0])的差异;所有区间均在3个百分点内,这是当前样本显示等效性的最接近情况。落后于Gemini 3.1 Pro(2.0点 [0.2, 3.9])和Gemini 3.1 Flash-Lite(2.2点 [0.6, 4.0]),领先于Claude Haiku 4.5(10.0点 [7.3, 12.8])和GPT-5.6 Luna(3.3点 [1.1, 5.7])。
选择唯一答案(270项)中,开源模型得分为0.933 [0.904, 0.959]。未检测到与Claude Opus 5(-0.4点 [-3.0, +2.2])、GPT-5.6(+3.0点 [+0.0, +6.3])、Gemini 3.1 Pro(-0.4点 [-3.0, +2.2])或Gemini 3.1 Flash-Lite(+0.0点 [-3.0, +3.0])的差异;Claude Opus 5、Gemini 3.1 Pro和Gemini 3.1 Flash-Lite的区间均在3个百分点内。领先于Claude Haiku 4.5(14.8点 [10.4, 19.3])和GPT-5.6 Luna(5.2点 [1.5, 8.9])。
需注意两点:问题较粗粒度(是否有桥、十三种日常物品中选哪个),测量的是所有现有系统均能达到的基线;标注非金标准:在Commons数据集上,131个是非判断项和65个选择唯一项中各有4项和3项被所有七个系统“错误“回答,这更可能是标注错误或歧义而非七个系统完全相同的失误(此为推断,未进行人工审核)。
评分任务的领先者取决于是否允许拟合:零样本时低成本托管模型领先;一旦开源模型观察到少量评分标准图像,即可达到持平或领先(第5节)。
表2. 图1背后数据(基于所有系统均作答的项目,是非判断与选择唯一准确率合并自三组新鲜照片数据集;耗时和成本基于Commons照片测量,因托管成本取决于图像大小)。准确率含95%自举区间;加粗行为开源模型(Qwen3-VL 2B/4B/8B,Glance读取);标记“生成“的行表示同一模型生成JSON方式(2B和4B)。托管速度为单台笔记本电脑包含网络的调用时间;托管成本为日志记录的供应商费用(“估“为标价上限估计)。
相似文章
OpenJev
OpenJev是一款基于浏览器的工具,允许用户在本地运行AI模型,并比较不同的推理方法,例如直接读取logits与在JSON格式中生成tokens的对比。
@yoheinakajima: glance-vlm speedlab 现已开源!阅读:https://glance.yohei.me/speed/ 尝试:https://github.com/yoheinakajima/glan…
本文介绍了一项开源研究,通过基准测试和原生批处理、MLX量化等技术优化本地视觉语言模型的延迟,在Apple硬件上实现显著加速的同时保持决策准确性。
我将 Qwen3.8-27B Q2_64 + llama.cpp 转换为一个完全 TypeSafe AI 兼容的 Jev 风格系统。OpenAI API 仍然完整!全球首个支持视觉的 Jev 风格模型!显存占用低于 10 GB,在 RTX 3090 上延迟 170 毫秒,聊天速度约 140 tok/s。在包含 22,000 个请求的多样化类型决策基准测试中,准确率为 76%,而 Jev-1.13 为 88%。
Bonsai-Llama-Jev 是一个开源的、支持视觉的类型决策推理系统,可在本地运行,具有低显存占用和高准确率,在多样化基准测试中超越其他系统。
DIY Jev
作者分享了一个类似DIY Jev的推理设置,使用开源权重大语言模型,展示了通过简单的提示和基于logit的验证,在没有微调的情况下实现了良好的准确性,并提供了一个用于本地部署的Rust Web服务器。
@maximelabonne: 一款理解和探索 VLM 评估的便捷应用
一款共享应用,用于探索和了解视觉语言模型评估,参考了分析热门视觉基准测试的讨论串。