@yoheinakajima:在4B开放VLM上进行Jev式logit读取,实测:http://glance.yohei.me 与同一模型写入JSON相比:时间减少约1/3 …

X AI KOLs Timeline 论文

摘要

Yohei Nakajima 提出一种方法,通过使用logits从冻结的开放视觉语言模型中读取类型化的视觉判断,达到与托管模型相似的准确性,同时减少时间和GPU成本。

Jev式logit读取在4B开放VLM上,实测:http://glance.yohei.me 与同一模型写入JSON相比:在完整照片上是/否判断时间减少约1/3;对于每张图像的多个问题,GPU成本减少多达约85%;在新照片上准确性相同:在选择一项任务上与最佳托管模型持平(0.933 vs 0.937),在是/否判断上落后Gemini约2个百分点 pip install glance-vlm http://github.com/yoheinakajima/glance…
查看原文
查看缓存全文

缓存时间: 2026/09/22 05:47

Jev风格对数值读取在开源4B视觉语言模型上的测试,测量结果:http://glance.yohei.me 与同一模型生成JSON的方式相比:在完整照片的单张判断中,响应时间减少约1/3,对多张图片的多个问题,GPU成本可降低最多85%,且在新照片上准确率相同:在“选择唯一答案“任务中与最佳托管模型持平(0.933 vs 0.937),在“是非判断“任务中落后Gemini约2个百分点 安装方式:pip install glance-vlm 代码库:http://github.com/yoheinakajima/glance…


Glance:从冻结的开源视觉语言模型读取结构化视觉判断

来源:https://glance.yohei.me/ glance-vlm · 工作论文 · v0.3.1 · 快照 8f36e06, 2026-09-21 · 所有实验在运行前已注册 · 结果可从代码库重现

从冻结的开源视觉语言模型读取结构化视觉判断

粗粒度识别能力已接近最佳托管模型(在“选择唯一“任务中持平,在“是非判断“任务中落后约2个百分点),这种能力已存在于小型开源视觉语言模型中,且无需生成文本即可读取。质量评分仍然困难的部分在于评分标准如何划分边界。在几何判断(相对大小、线条方向)方面,最佳托管模型表现完美,而通过这种方式读取的小型开源模型则相去甚远。

Yohei Nakajima · 独立研究 · 全程借助AI辅助构建(笔记本记录分工详情)

摘要(https://glance.yohei.me/#regimes) · 使用方法(https://glance.yohei.me/#useit) · 技术原理(https://glance.yohei.me/#method) · 是非判断与选择唯一答案(https://glance.yohei.me/#evidence) · 适用边界(https://glance.yohei.me/#stops) · 读取与生成对比(https://glance.yohei.me/#read) · 评分任务(https://glance.yohei.me/#ratings) · 模型规模与类型(https://glance.yohei.me/#models) · 成本与速度(https://glance.yohei.me/#cost) · 非创新点说明(https://glance.yohei.me/#new) · 局限性与不足(https://glance.yohei.me/#limits) · 参考文献(https://glance.yohei.me/#refs)

三阶段结果概览

摘要

结构化问题指其合法答案构成闭合集(模型运行前已知)的问题:是/否、列表选项、评分标准等级。我们向冻结的开源视觉语言模型(Qwen3-VL-4B,Apache-2.0协议,本地运行)提出此类图像问题,并从单次前向传播的对数值中读取答案;无需生成文本。

在模型发布后拍摄的新鲜照片上(由项目外人员标注,三组共541个是非判断问题和270张选择唯一答案的照片,所有系统均需处理),开源模型在选择唯一答案任务中与最佳托管模型持平(0.933 vs Claude Opus 5的0.937),在是非判断任务中落后最佳模型约2个百分点(0.939 vs Gemini 3.1 Flash-Lite的0.961;与Gemini两个模型的配对差异均排除零点)。我们未检测到其与Claude Opus 5和GPT-5.6在两项任务中的差异,且优于Claude Haiku 4.5和GPT-5.6 Luna。

在最具挑战性的相似昆虫分类数据集中,托管模型在选择唯一答案任务中跨越23个百分点(0.74至0.97),而开源模型得分0.96。这些问题相对简单且标注存在瑕疵:约3-5%的样本被所有七个系统“错误“回答。

读取方式与同一模型生成JSON同样准确。评分任务表现则不同:在五个图像质量评分标准下进行零样本测试,每个系统都能正确排序图像(开源模型在99%的图像上等级偏差不超过1级),但等级边界划分存在系统性偏差(每个评分标准存在固定偏移)。低成本托管模型领先(0.763 vs 0.669),而8B模型并不优于4B模型。

由于读取答案是对数值向量,可进行拟合:16张未标注的评分标准图像可消除大部分偏移(达0.758),32张标注图像可达0.857。托管模型未获得示例,因此这是产品对比而非模型对比。

在真实图像质量基准测试(KADID-10k)中,该方法未能达到我们注册的所有目标;手工特征和小型训练质量模型在低级伪影评估上表现相当或更优。在非图像质量评分标准(倾斜角度、主体裁剪比例)中,即使使用300张标注图像也仅达0.55。

开源模型成本与低成本托管模型处于同一数量级,较旗舰模型低1-2个数量级;图像无需离开本地设备。该读取方法与其它免训练工具共享,未声称创新;我们提供的是预先注册的测量结果及其局限性。

1 方法:单次前向传播中对允许答案评分

图像与问题输入冻结模型,助手回合留空(或强制开始JSON值),模型运行一次,仅保留答案位置对允许答案词元的对数值。对该闭合集进行温度1的softmax处理得到概率;无需采样、生成或解析。

图像 + 结构化问题(是/否、选择唯一、评分)
单次前向传播 → 冻结开源模型(本地) → 答案位置对数值 → 仅允许答案 → 概率分布 → 无需生成文本

是非判断
问题:...?回答 是 或 否
读取方式:“是”/“是的”/“yes”/“YES“四个词元的对数之和,减去“否“对应四个词元的对数之和;概率为差值的sigmoid值。

选择唯一答案(K选项)
问题:... 候选答案:X。此候选是否正确?回答 是 或 否
读取方式:为每个选项生成此类语句(共享同一图像前缀),计算每个选项的“是-否“对数值;对K个选项进行softmax。

多级评分(K等级)
"answer": 图像...程度如何?允许答案:0=...;1=...;(用数字回答)
助手回合强制开始 {"answer":
读取方式:下一位置数字0到K-1的对数值;softmax处理;得分为期望等级。

单次传播。
表1. 三种读取方式。图像调整至最多768个视觉令牌(28像素块),这决定了主要延迟。关于同一图像的多个问题可重用键值前缀并分支为独立后缀,互不影响;经100个请求验证,预测结果无变化。“零样本“指原始概率,未进行拟合。

两种拟合方式(因答案为对数向量):
无标注:在评分标准的小型未标注图像池上,每个等级对数值按池内均值和标准差进行中心化和缩放后再softmax。此假设模型排序正确,可消除固定偏移;无法移动缺乏证据的边界。
有标注:softmax前的对数值仿射映射(矩阵缩放,Guo et al. 2017),L2正则化,超参选择基于留出折;约32个标注即可。研究变体在模型最终隐藏态上拟合同一映射(线性探测)。
我们早期的四次传播评分读取法(数字正反序、有无放大裁剪)作为有标注拟合的输入效果更优,但零样本表现较差;第5节将报告两种结果。

明确案例:大胆跳蛛,iNaturalist 402011619 (CC BY, antimatterbee)
"主主体是否为蜘蛛或其他蛛形纲动物?" P(是)=1.00 ✓
"这是什么类型的生物?"(10个选项)蛛形纲 1.00 ✓

不确定案例:树皮上的真菌,iNaturalist 401937340 (CC BY, Марина Давлетшина)
"这是什么类型的生物?"(10个选项)真菌 0.63、昆虫 0.26、蛛形纲 0.11
✓ 但不确定
"主主体是否为昆虫?" P(是)=0.60 ✗ 但接近边界
"主主体是否为真菌?" P(是)=0.03 ✗ 但高度自信

开源4B模型的两个记录示例。大多数回答如第一个案例。第二个案例既展示了概率的意义(0.63和0.60是警示值),也表明概率并非保证(0.03是自信的误判)。

2 粗粒度是非判断与选择唯一答案:选择唯一任务与最佳托管模型持平,是非判断落后2个百分点

相同测试项发送至开源4B模型(读取方式,以及生成JSON方式)、三个托管旗舰模型及各提供商最低成本视觉模型。三项测试均为零样本:541个新鲜照片是非判断问题(三组合并)、270张新鲜照片选择唯一答案(三组合并)、41000张实验室图像精确等级评分(评分任务见第5节)。

是非判断

系统准确率(↑)每答案耗时(↓)每千答案成本(↓)
Gemini 3.1 Pro0.962.74 s$2.62
Claude Opus 50.942.64 s$3.37
GPT-5.60.931.18 s$7.55
Claude Haiku 4.50.840.87 s$1.75
GPT-5.6 Luna0.911.22 s$0.38
Gemini 3.1 Flash-Lite0.961.63 s$0.31
Qwen3-VL-2B(生成)0.581.08 s$0.20
Qwen3-VL-2B + Glance0.900.66 s$0.12
Qwen3-VL-4B(生成)0.941.65 s$0.30
Qwen3-VL-4B + Glance0.941.08 s$0.20
Qwen3-VL-8B + Glance0.932.12 s$0.39

选择唯一答案

系统准确率(↑)每答案耗时(↓)每千答案成本(↓)
Gemini 3.1 Pro0.943.18 s$3.85
Claude Opus 50.942.98 s$4.48
GPT-5.60.901.34 s$7.82
Claude Haiku 4.50.790.92 s$1.89
GPT-5.6 Luna0.881.30 s$0.40
Gemini 3.1 Flash-Lite0.931.89 s$0.34
Qwen3-VL-2B(生成)0.840.94 s$0.17
Qwen3-VL-2B + Glance0.910.85 s$0.16
Qwen3-VL-4B(生成)0.931.87 s$0.35
Qwen3-VL-4B + Glance0.931.43 s$0.26
Qwen3-VL-8B + Glance0.932.65 s$0.49

评分任务

系统准确率(↑)每答案耗时(↓)每千答案成本(↓)
Gemini 3.1 Pro0.654.02 s$6.15
Claude Opus 50.552.42 s>$18.70 估
GPT-5.60.601.07 s>$14.96 估
Claude Haiku 4.50.610.72 s$0.55
GPT-5.6 Luna0.691.10 s$0.12
Gemini 3.1 Flash-Lite0.761.62 s$0.33
Qwen3-VL-2B(生成)0.060.30 s$0.06
Qwen3-VL-2B + Glance0.490.22 s$0.04
Qwen3-VL-4B(生成)0.670.91 s$0.17
Qwen3-VL-4B + Glance0.670.45 s$0.08
Qwen3-VL-8B + Glance0.640.64 s$0.12

图1. 所有系统的准确率、耗时和成本(按问题类型分类,纵轴从零开始),基于所有系统均作答的项目(表2给出计数)。黑色柱状图表示使用Glance读取的笔记本电脑开源模型;其上方较浅柱状图表示同一模型生成JSON方式(2B和4B;8B模型的生成数据未收集)。任何系统中,若生成答案无法解析或非允许值,则视为错误;此规则导致2B模型生成分数损失最大(35%的是非判断答案和86%的评分答案格式错误,通常缺少花括号)。宽松评分时(取文本中第一个允许答案),其分数可达0.91、0.91和0.49:读取方式免去了小模型的格式化负担,但并未使其更智能。虚线柱为估计成本;超出测量范围的估计值截断并标注›。

在任一照片集中,每个95%置信区间与其他区间重叠,这既说明样本量限制,也反映系统间差异。合并三组照片并在相同项目上配对后,差异显现。

是非判断(541项)中,开源模型得分为0.939 [0.917, 0.959]。未检测到与Claude Opus 5(+0.2点 [-1.7, +2.1])或GPT-5.6(+1.1点 [-0.7, +3.0])的差异;所有区间均在3个百分点内,这是当前样本显示等效性的最接近情况。落后于Gemini 3.1 Pro(2.0点 [0.2, 3.9])和Gemini 3.1 Flash-Lite(2.2点 [0.6, 4.0]),领先于Claude Haiku 4.5(10.0点 [7.3, 12.8])和GPT-5.6 Luna(3.3点 [1.1, 5.7])。

选择唯一答案(270项)中,开源模型得分为0.933 [0.904, 0.959]。未检测到与Claude Opus 5(-0.4点 [-3.0, +2.2])、GPT-5.6(+3.0点 [+0.0, +6.3])、Gemini 3.1 Pro(-0.4点 [-3.0, +2.2])或Gemini 3.1 Flash-Lite(+0.0点 [-3.0, +3.0])的差异;Claude Opus 5、Gemini 3.1 Pro和Gemini 3.1 Flash-Lite的区间均在3个百分点内。领先于Claude Haiku 4.5(14.8点 [10.4, 19.3])和GPT-5.6 Luna(5.2点 [1.5, 8.9])。

需注意两点:问题较粗粒度(是否有桥、十三种日常物品中选哪个),测量的是所有现有系统均能达到的基线;标注非金标准:在Commons数据集上,131个是非判断项和65个选择唯一项中各有4项和3项被所有七个系统“错误“回答,这更可能是标注错误或歧义而非七个系统完全相同的失误(此为推断,未进行人工审核)。

评分任务的领先者取决于是否允许拟合:零样本时低成本托管模型领先;一旦开源模型观察到少量评分标准图像,即可达到持平或领先(第5节)。

表2. 图1背后数据(基于所有系统均作答的项目,是非判断与选择唯一准确率合并自三组新鲜照片数据集;耗时和成本基于Commons照片测量,因托管成本取决于图像大小)。准确率含95%自举区间;加粗行为开源模型(Qwen3-VL 2B/4B/8B,Glance读取);标记“生成“的行表示同一模型生成JSON方式(2B和4B)。托管速度为单台笔记本电脑包含网络的调用时间;托管成本为日志记录的供应商费用(“估“为标价上限估计)。

相似文章

OpenJev

Hacker News Top

OpenJev是一款基于浏览器的工具,允许用户在本地运行AI模型,并比较不同的推理方法,例如直接读取logits与在JSON格式中生成tokens的对比。

我将 Qwen3.8-27B Q2_64 + llama.cpp 转换为一个完全 TypeSafe AI 兼容的 Jev 风格系统。OpenAI API 仍然完整!全球首个支持视觉的 Jev 风格模型!显存占用低于 10 GB,在 RTX 3090 上延迟 170 毫秒,聊天速度约 140 tok/s。在包含 22,000 个请求的多样化类型决策基准测试中,准确率为 76%,而 Jev-1.13 为 88%。

Reddit r/LocalLLaMA

Bonsai-Llama-Jev 是一个开源的、支持视觉的类型决策推理系统,可在本地运行,具有低显存占用和高准确率,在多样化基准测试中超越其他系统。

DIY Jev

Reddit r/LocalLLaMA

作者分享了一个类似DIY Jev的推理设置,使用开源权重大语言模型,展示了通过简单的提示和基于logit的验证,在没有微调的情况下实现了良好的准确性,并提供了一个用于本地部署的Rust Web服务器。