重新思考小型VLM量化：从组件分析到硬件感知的边缘部署

# 重新思考小型VLM量化：从组件级分析到硬件感知的边缘部署
来源：https://arxiv.org/html/2607.08029
###### 摘要

参数少于30亿的视觉语言模型的出现加速了设备端多模态智能的实现。然而，对组件级量化的细致理解仍是实现最佳部署的瓶颈。本文提出一个系统性的评估框架，在Jetson Orin NX和AGX上对六种量化配置下的五个假设进行实证验证。通过分离视觉编码器、投影器和大型语言模型主干，得到以下结果：(1) 量化敏感性由结构范式（MoE vs. 密集）主导，而非仅规模决定；MoE主干能在密集主干因INT4噪声而退化时保持稳健；(2) SigLIP编码器在Jetson Ampere上引起不成比例的INT8延迟——这是一种部署特定的编码器-内核-硬件交互，而非SigLIP的缺陷；(3) 尽管LLM的INT4量化大幅降低VRAM消耗，但由于反量化开销导致token生成变慢；(4) 复合量化误差基本可加，除非沿着模态对齐路径，而这依赖于架构；(5) 由于内存带宽限制，每焦耳智能度在不同平台间差异显著。

视觉语言模型，训练后量化，组件级分析，边缘部署，能效推理

表1：综合评估：所有模型和配置的感知、认知及MME总分，以及相对于cfg0（基线）的百分比变化。
Model | Config | Jetson NX Orin | | | Jetson AGX Orin | | | Perc. (Δ%) | Cogn. (Δ%) | Total (Δ%) | Perc. (Δ%) | Cogn. (Δ%) | Total (Δ%)
Qwen3-VL-2B-Instruct | cfg0 (Base) | 1508.20 | 513.57 | 2021.78 | 1485.46 | 497.86 | 1983.32
| cfg1 | 1524.25 (+1.06%) | 553.57 (+7.79%) | 2077.82 (+2.77%) | 1535.48 (+3.37%) | 533.57 (+7.17%) | 2069.05 (+4.32%)
| cfg2 | 1512.75 (+0.30%) | 477.14 (-7.09%) | 1989.89 (-1.58%) | 1501.77 (+1.10%) | 503.57 (+1.15%) | 2005.34 (+1.11%)
| cfg3 | 1514.92 (+0.45%) | 531.43 (+3.48%) | 2046.35 (+1.22%) | 1538.39 (+3.56%) | 526.07 (+5.67%) | 2064.46 (+4.09%)
| cfg4 | 1505.65 (-0.17%) | 467.86 (-8.90%) | 1973.51 (-2.39%) | 1504.48 (+1.28%) | 523.93 (+5.24%) | 2028.41 (+2.27%)
| cfg5 | 1511.96 (+0.25%) | 517.14 (+0.69%) | 2029.10 (+0.36%) | 1524.09 (+2.60%) | 554.64 (+11.40%) | 2078.73 (+4.81%)
DeepSeek-VL2-Tiny | cfg0 (Base) | 1550.76 | 360.36 | 1911.12 | 1556.35 | 360.36 | 1916.71
| cfg1 | 1584.33 (+2.16%) | 368.21 (+2.18%) | 1952.54 (+2.17%) | 1589.25 (+2.11%) | 372.86 (+3.47%) | 1962.10 (+2.37%)
| cfg2 | 1552.34 (+0.10%) | 364.64 (+1.19%) | 1916.98 (+0.31%) | 1548.53 (-0.50%) | 376.07 (+4.36%) | 1924.60 (+0.41%)
| cfg3 | 1582.56 (+2.05%) | 370.36 (+2.78%) | 1952.92 (+2.19%) | 1580.41 (+1.55%) | 370.36 (+2.78%) | 1950.76 (+1.78%)
| cfg4 | 1545.90 (-0.31%) | 351.07 (-2.58%) | 1896.98 (-0.74%) | 1546.17 (-0.65%) | 363.57 (+0.89%) | 1909.74 (-0.36%)
| cfg5 | 1574.16 (+1.51%) | 370.36 (+2.78%) | 1944.51 (+1.75%) | 1584.90 (+1.83%) | 368.21 (+2.18%) | 1953.11 (+1.90%)
PaliGemma2-3B | cfg0 (Base) | 1424.94 | 236.07 | 1661.01 | 1429.53 | 228.57 | 1658.10
| cfg1 | 1387.46 (-2.63%) | 211.43 (-10.44%) | 1598.89 (-3.74%) | 1389.45 (-2.80%) | 209.29 (-8.44%) | 1598.74 (-3.58%)
| cfg2 | 1425.10 (+0.01%) | 238.57 (+1.06%) | 1663.68 (+0.16%) | 1424.90 (-0.32%) | 228.57 (+0.00%) | 1653.47 (-0.28%)
| cfg3 | 1390.95 (-2.39%) | 209.29 (-11.34%) | 1600.24 (-3.66%) | 1391.08 (-2.69%) | 209.29 (-8.44%) | 1600.37 (-3.48%)
| cfg4 | 1429.35 (+0.31%) | 238.93 (+1.21%) | 1668.28 (+0.44%) | 1420.90 (-0.60%) | 236.07 (+3.28%) | 1656.97 (-0.07%)
| cfg5 | 1382.68 (-2.97%) | 207.14 (-12.25%) | 1589.83 (-4.29%) | 1379.90 (-3.47%) | 209.29 (-8.44%) | 1589.19 (-4.16%)
LLaVA-OV-0.5B | cfg0 (Base) | 1210.76 | 151.07 | 1361.83 | 1214.02 | 155.71 | 1369.73
| cfg1 | 967.52 (-20.09%) | 174.29 (+15.37%) | 1141.81 (-16.16%) | 1029.01 (-15.24%) | 184.64 (+18.58%) | 1213.65 (-11.39%)
| cfg2 | 1209.34 (-0.12%) | 151.07 (+0.00%) | 1360.41 (-0.1%) | 1215.06 (+0.09%) | 148.21 (-4.82%) | 1363.28 (-0.47%)
| cfg3 | 965.8 (-20.23%) | 171.79 (+13.72%) | 1137.59 (-16.47%) | 1021.05 (-15.90%) | 186.43 (+19.73%) | 1207.48 (-11.85%)
| cfg4 | 1220.27 (+0.79%) | 148.93 (-1.42%) | 1369.20 (+0.54%) | 1212.08 (-0.16%) | 153.21 (-1.61%) | 1365.30 (-0.32%)
| cfg5 | 974.79 (-19.49%) | 174.29 (+15.37%) | 1149.08 (-15.62%) | 1026.16 (-15.47%) | 189.29 (+21.57%) | 1215.45 (-11.26%)
Kosmos-2.5 | cfg0 (Base) | 464.80 | 197.50 | 662.30 | 464.55 | 197.50 | 662.05
| cfg1 | 454.97 (-2.11%) | 196.79 (-0.36%) | 651.76 (-1.59%) | 453.05 (-2.48%) | 196.79 (-0.36%) | 649.84 (-1.84%)
| cfg2 | 466.05 (+0.27%) | 198.21 (+0.36%) | 664.27 (+0.30%) | 465.80 (+0.27%) | 197.50 (+0.00%) | 663.30 (+0.19%)
| cfg3 | 457.14 (-1.65%) | 196.79 (-0.36%) | 653.92 (-1.27%) | 459.97 (-0.99%) | 196.79 (-0.36%) | 656.76 (-0.80%)
| cfg4 | 465.05 (+0.05%) | 201.43 (+1.99%) | 666.48 (+0.63%) | 464.05 (-0.11%) | 198.21 (+0.36%) | 663.27 (+0.18%)
| cfg5 | 457.39 (-1.59%) | 199.29 (+0.91%) | 656.67 (-0.85%) | 453.80 (-2.31%) | 196.79 (-0.36%) | 650.59 (-1.73%)

- 注意：每个数据点反映 n≥3 次独立运行的平均值。请参阅附录D (https://arxiv.org/html/2607.08029#A4) 获取表示跨运行平均分的详细条形图。

表2：组件级量化敏感性分析的配置定义。
Config | Vision | Projector | LLM | Description
cfg0 (Base) | FP16 | FP16 | FP16 | 基线
cfg1 | FP16 | FP16 | INT4 | LLM鲁棒性
cfg2 | FP16 | INT8 | FP16 | 投影器敏感性
cfg3 | FP16 | INT8 | INT4 | cfg1 + cfg2
cfg4 | INT8 | FP16 | FP16 | 编码器敏感性
cfg5 | INT8 | FP16 | INT4 | cfg1 + cfg4

## 1 引言

近年来，大型多模态模型（LMMs）因其结合视觉理解与语言生成的创新推理能力，为人工智能（AI）研究开辟了新天地（Liu et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib1); Sun et al., 2024 (https://arxiv.org/html/2607.08029#bib.bib2); Hurst et al., 2024 (https://arxiv.org/html/2607.08029#bib.bib3)）。参数不超过30亿的小型视觉语言模型（sVLMs）正迅速成为设备端AI的实用候选者。这些模型可应用于移动、离线、隐私保护和低功耗环境（Chu et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib4); Zhou et al., 2024 (https://arxiv.org/html/2607.08029#bib.bib5); Lin et al., 2026 (https://arxiv.org/html/2607.08029#bib.bib6)）。然而，异构边缘片上系统（SoC）环境，如NVIDIA Jetson Orin系列，面临严格的硬件约束，包括有限的内存带宽（NX: 102.4 GB/s；AGX: 204.8 GB/s）和有限的VRAM容量（NX: 16 GB；AGX: 64 GB）。在此类环境中，模型量化作为一种确保实际推理能力的必要压缩技术正获得关注（Kim et al., 2022 (https://arxiv.org/html/2607.08029#bib.bib7); Cai et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib8); Xu et al., 2024 (https://arxiv.org/html/2607.08029#bib.bib9)）。

然而，大多数现有关于大型语言模型（LLMs）和视觉语言模型（VLMs）量化的研究通常专注于在高性能服务器级GPU环境中对整个模型进行端到端评估（Lee et al., 2024 (https://arxiv.org/html/2607.08029#bib.bib10); Xiao et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib11); Frantar et al., 2022 (https://arxiv.org/html/2607.08029#bib.bib12); Dettmers et al., 2022 (https://arxiv.org/html/2607.08029#bib.bib13)）。现有研究尚未为工程师在部署时面临的关键决策提供系统性基础，包括应优先量化哪些组件，以及如何在这些组件间分配位宽。VLM通常由三个主要组件组成：提取视觉特征的视觉编码器、将这些特征映射到语言模型嵌入空间的投影器，以及执行最终推理的LLM主干（Liu et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib1); Alayrac et al., 2022 (https://arxiv.org/html/2607.08029#bib.bib14); Chen et al., 2024 (https://arxiv.org/html/2607.08029#bib.bib15)）。每个组件具有不同的参数量、模型结构和计算特性，因此应独立评估每个组件对量化的敏感性。控制和量化每个组件边际贡献的研究很少（Sharshar et al., 2025 (https://arxiv.org/html/2607.08029#bib.bib16)）。跨平台比较研究，尤其是在异构边缘SoC上，则更为罕见。

受初步观察的启发，我们提出了五个假设，并通过设计一个假设驱动的评估框架来评估每个假设。我们评估了五个架构多样化的sVLM：Qwen3-VL-2B、DeepSeek-VL2-Tiny、PaliGemma2-3B、LLaVA-OV-0.5B和Kosmos-2.5。开发的配置包括单一组件消融（cfg1、cfg2和cfg4），这些配置隔离了量化单个组件的影响，以及复合配置（cfg3和cfg5），用于捕捉联合量化组件之间的交互作用。我们在Jetson Orin NX和Jetson AGX平台上进行所有实验，并沿四个维度分析每种配置：MME基准测试准确率、VRAM占用、视觉编码器、投影器和LLM的组件级延迟（每个输出token的时间，TPOT），以及每焦耳智能度（IPJ）（Saad-Falcon et al., 2025 (https://arxiv.org/html/2607.08029#bib.bib17)）。

我们提出以下假设：

- **基于参数规模的尺度依赖性敏感性（H1）：** 随着模型规模减小，LLM主干的INT4量化会导致越来越严重的准确率下降。这种效应预计在参数少于10亿的超小型sVLM中尤为明显，因为有限的表示冗余使模型对量化噪声的鲁棒性较差。
- **视觉编码器架构特定的延迟异常（H2）：** 基于SigLIP的视觉编码器量化不成比例地增加了延迟（相对于准确率变化），这是由于某些架构与特定硬件的量化软件栈之间的交互所致。
- **资源节省与推理效率之间的关系（H3）：** 基于BitsAndBytes的LLM INT4量化实现了超过50%的VRAM节省，而由于反量化开销，TPOT持续增加。
- **复合量化误差的非加性交互作用（H4）：** 量化异构模态时的性能下降表现为非加性模式，无法通过简单算术求和单个组件误差来解释。
- **跨平台性能排名的稳定性与可迁移性（H5）：** 模型在量化配置和异构边缘平台（NX与AGX）上的准确率排名是平台不变的，而延迟和能效特性则是平台特定的。

本研究的主要贡献如下：（1）我们首次进行了系统控制的实验，独立分离参数不超过30亿的VLM的视觉编码器、投影器和LLM主干，以测量准确率敏感性和资源效率。（2）通过使用两个异构平台（Jetson Orin NX和AGX）进行跨硬件评估，我们从经验上区分了与平台一致的准确率排名和特定于硬件的延迟特性。（3）我们识别了在SigLIP架构中应用视觉INT8量化时出现的异常延迟现象，并从硬件-软件栈的角度分析了这些问题。（4）通过测试假设，我们为在边缘环境中实现模态和硬件感知的精度分配策略提供了实用的部署指导。

## 2 相关工作

**小型视觉语言模型。** sVLM是一种参数不超过70亿的多模态AI系统。sVLM旨在高效处理并整合视觉和文本信息，同时支持在资源受限的环境（如边缘和移动设备）中实施（Chu et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib4)）。典型的VLM架构由三个核心组件组成：从图像中提取视觉特征的视觉编码器、将视觉表示映射到语言模型嵌入空间的投影器，以及用于文本生成和推理的LLM主干（Liu et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib1)）。这些组件在模型内执行不同的功能，因此在对量化的敏感性上可能有所不同（Sharshar et al., 2025 (https://arxiv.org/html/2607.08029#bib.bib16)）。表4 (https://arxiv.org/html/2607.08029#S3.T4) 总结了本研究选取的五个模型的架构配置。除Kosmos-2.5外，其他四个模型均使用SigLIP作为视觉编码器。因此，在RQ2（如第4.2节所示）的架构效应分析中，SigLIP可被视为一个受控的架构因素。

**VLM的量化。** 模型量化是一种广泛使用的压缩技术，通过使用低精度格式表示模型权重和激活值来减少内存占用和计算开销。现有的量化方法，如激活感知的权重量化（AWQ）、生成式预训练Transformer量化（GPTQ）、SmoothQuant和基于BitsAndBytes的INT8/INT4量化，已在大规模神经模型中展示出显著的效率提升（Lin et al., 2024 (https://arxiv.org/html/2607.08029#bib.bib18); Frantar et al., 2022 (https://arxiv.org/html/2607.08029#bib.bib12); Xiao et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib11); Dettmers et al., 2022 (https://arxiv.org/html/2607.08029#bib.bib13)）。

这些技术已在LLMs中得到了广泛探索。然而，将它们扩展到VLM则不那么直接。VLM结合了多个异构组件，包括视觉编码器、跨模态投影器和LLM主干。由于这些组件在规模、功能和对数值精度的敏感性上存在差异，统一量化可能无法在效率和精度成本之间提供最佳权衡（Sharshar et al., 2025 (https://arxiv.org/html/2607.08029#bib.bib16); Xue et al., 2025 (https://arxiv.org/html/2607.08029#bib.bib20); Li et al., 2025 (https://arxiv.org/html/2607.08029#bib.bib19)）。这推动了组件级混合精度量化的发展，其中根据量化敏感性和部署需求，为不同的VLM组件分配不同的位宽。

## 3 实验设置

### 3.1 硬件设置

Jetson Orin系列是基于NVIDIA Ampere架构的边缘AI平台。它提供多种内存配置，如NX（16 GB, LPDDR5）和AGX（64 GB, LPDDR5）。即使采用相同的量化配置，延迟特性也可能因硬件平台而异，具体取决于内核的优化程度。例如，在某些平台上，INT4量化在使用BitsAndBytes时会涉及反量化开销。如果Jetson Orin的Ampere架构中原生INT4运算支持有限，则TPOT可能增加（Xu et al., 2024 (https://arxiv.org/html/2607.08029#bib.bib9)）。这解释了为什么VRAM节省并不一定导致推理速度加快。相反，如果反量化成为瓶颈，内存节省可能以更高的每token延迟为代价。为了在近似真实的边缘部署条件下捕获这些硬件-软件交互，我们使用了Jetson Orin NX 16GB和Jetson AGX Orin 64GB开发者套件的实际功耗设置（分别为25W和60W）。所有实验均在环境温度约20°C的受控实验室条件下进行，避免热节流。软件环境包括CUDA 12.2、cuDNN 8.9、TensorRT 8.6和PyTorch 2.4.0，使用Ollama推理服务器统一管理模型加载和推理。

### 3.2 模型与目标

我们选择了五个参数少于30亿的小型VLM，以涵盖架构多样性：Qwen3-VL-2B-Instruct（约2B参数）、DeepSeek-VL2-Tiny（约1B参数）、PaliGemma2-3B（约3B参数）、LLaVA-OV-0.5B（约0.5B参数）和Kosmos-2.5（约2B参数）。这些模型涵盖了不同的架构范式：Qwen3-VL-2B使用混合专家（MoE，Bai et al., 2025 (https://arxiv.org/html/2607.08029#bib.bib21)）作为LLM主干，而DeepSeek-VL2-Tiny、PaliGemma2-3B、LLaVA-OV-0.5B和Kosmos-2.5使用密集Transformer架构。视觉编码器也各不相同：除Kosmos-2.5使用EVA-02-CLIP-L（Sun et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib22)）外，其余四个模型均使用SigLIP（Zhai et al., 2023 (https://arxiv.org/html/2607.08029#bib.bib23)）。

我们通过控制实验来逐个、分组地引出组件的量化影响。我们定义了一个基线配置（cfg0），其中所有组件均保持在FP16精度。然后，我们构建了单一组件消融配置，其中仅量化一个特定组件：cfg1量化LLM主干（保持视觉编码器和投影器为FP16），cfg2量化投影器，cfg4量化视觉编码器。此外，我们还构建了复合配置（cfg3和cfg5），这些配置同时量化多个组件，以分析量化误差之间的交互作用。表2 (https://arxiv.org/html/2607.08029#S1.T2) 总结了所有配置：cfg3同时量化投影器（INT8）和LLM（INT4），而cfg5同时量化视觉编码器（INT8）和LLM（INT4）。我们将INT4量化为规范化2位为两位组（NF4） (https://arxiv.org/html/2607.08029#bib.bib13)，将INT8量化为8位动态量化 (https://arxiv.org/html/2607.08029#bib.bib9)。

对于每个模型和配置，我们使用MME基准测试 (https://arxiv.org/html/2607.08029#bib.bib24)（Fu et al., 2024）评估感知和认知准确率，并使用跨多次运行的分数变化百分比来衡量量化影响。我们还记录了每次按组件划分的原始VRAM使用情况。对于延迟，我们测量了视觉嵌入阶段、投影阶段和LLM解码头阶段（从开始生成第一个token到完成输出）的时间。LLM性能通过TPOT进行量化。与首token时间不同，TPOT捕获了每个token生成成本的边际效应，这对于识别不同模型GPU利用率中的反量化瓶颈至关重要。

### 3.3 假设公式化

我们通过系统实验验证以下五个假设：

**假设1（H1）：LLM INT4量化导致的准确率下降随模型规模呈非线性反比关系，在参数少于10亿的模型中下降更为严重。** 这一假设源于更大模型具有更高的容量和冗余，这自然吸收量化噪声。我们通过比较不同规模模型在cfg1（仅LLM INT4）下相对于基线的准确率下降来检验这一假设。

**假设2（H2）：视觉编码器INT8量化在SigLIP架构上表现出架构特定的延迟异常，在Jetson Ampere平台上显著增加延迟，而准确率下降保持较小。** 我们通过比较cfg4下视觉编码器组件延迟与编码器准确率变化来评估这一点。

**假设3（H3）：LLM INT4量化通过BitsAndBytes实现超过50%的VRAM节省，但以更慢的TPOT为代价，因为需要将4位权重反量化为FP16进行运算。** 我们通过测量cfg1下VRAM节省百分比和TPOT变化百分比来验证这一点。

**假设4（H4）：多个组件的联合量化导致误差增长，这种增长无法通过单个误差的简单求和来预测，特别是在跨模态组件之间。** 我们通过将复合配置（cfg3和cfg5）的准确率下降与单个组件配置（cfg1、cfg2、cfg4）的总和进行比较来检查这一点。

**假设5（H5）：跨异构边缘平台（NX与AGX）的模型准确率排名具有稳定性，而延迟和能效指标是平台特定的。** 我们通过测试两种平台上排名的一致性来检验这一点。

## 结果与讨论

我们按照第3.3节中概述的假设进行顺序分析。

### 4.1 H1：LLM量化的规模依赖性

图1 (https://arxiv.org/html/2607.08029#S4.F1) 显示了在Jetson AGX上应用cfg1（仅LLM INT4）后，相对于基线的准确率变化。Qwen3-VL-2B（MoE）在感知和认知方面的准确率均有所提高，而PaliGemma2-3B（密集）的认知准确率下降了10.44%。LLaVA-OV-0.5B（密集，0.5B）的下降更为剧烈，感知准确率下降20.09%，但认知准确率提高了15.37%。DeepSeek-VL2-Tiny（密集，1B）和Kosmos-2.5（密集，2B）的变化最小（±3%）。结论是：在密集变换器中，INT4量化的退化与模型规模相关，但MoE主干可以吸收INT4噪声，甚至提高准确率，这与假设一致。这一观察结果支持了Sharshar et al. (2025) [16]的结论，即更密集的模型通常对精度下降更敏感，并且MoE主干提供了对量化的鲁棒性。这表明，在具有MoE主干（如Qwen3-VL-2B）的模型中，INT4量化LLM是可行的。

### 4.2 H2：视觉编码器延迟异常

图2 (https://arxiv.org/html/2607.08029#S4.F2) 显示了在Jetson AGX和NX上，应用cfg4（仅视觉INT8）时视觉编码器组件的延迟变化。在AGX上，Qwen3-VL-2B、PaliGemma2-3B和LLaVA-OV-0.5B的视觉编码器延迟分别增加了128%、114%和119%。DeepSeek-VL2-Tiny仅增加了23%，Kosmos-2.5（使用EVA-02-CLIP-L）增加了10%。在NX上也观察到了类似的趋势。

这种不成比例的INT8延迟仅出现在使用SigLIP编码器的模型中。通过硬件-软件分析，我们发现JetPack 6.2中的TensorRT INT8优化尚未涵盖SigLIP中的特殊运算符，导致退回到未优化的CUDA内核。这导致了显着的延迟增加，而没有相应的精度损失（准确率变化<2%）。在Kosmos-2.5中，EVA-02-CLIP-L不受影响，因为其运算符已为INT8执行进行了充分优化。EVA-02-CLIP-L和SigLIP之间的延迟差距源于Ampere GPU上TensorRT内核覆盖率的目标水平不同；而非架构缺陷。因此，如果在边缘Jetson平台上优先考虑低视觉延迟，我们建议避免对SigLIP编码器进行INT8量化，转而使用FP16。

### 4.3 H3：VRAM节省与TPOT权衡

图3 (https://arxiv.org/html/2607.08029#S4.F3) 显示了在Jetson AGX上应用cfg1（仅LLM INT4）后，VRAM节省百分比与TPOT变化百分比。所有模型均实现了50%以上的VRAM节省，与假设一致。然而，所有模型的TPOT均增加了40-70%。这是由于BitsAndBytes量化的dequantization开销导致：权重保持为4位，但在运行时反量化到FP16进行计算，这增加了每个token的内存流量和计算量。

### 4.4 H4：复合误差的加性

表3 (https://arxiv.org/html/2607.08029#S4.T3) 显示了复合配置（cfg3和cfg5）的准确率变化以及单个组件配置总和预测的变化。我们将每个复合配置的测量误差与通过将单个组件配置的误差相加得到的"预测"误差进行比较。如果复合误差在测量值两侧3%以内，则认为是加性的。

观察：cfg3（投影器INT8 + LLM INT4）在大多数模型中是加性的，但在LLaVA-OV-0.5B中，测量误差（感知-20.23%，认知+13.72%）与预测误差（感知-20.21%，认知+15.37%）大致匹配。cfg5（视觉INT8 + LLM INT4）在密集变换器中是加性的，但在Qwen3-VL-2B（MoE）中不是：预测感知变化为-0.17% + 1.06% = 0.89%，但测量值为0.25%，在边界附近。在认知方面，预测为-8.90% + 7.79% = -1.11%，但测量值为0.69%，超出了3%的阈值。这表明在跨模态路径（视觉到LLM）上，MoE模型引入了非加性交互。

因此，假设部分得到支持：当跨模态组件联合量化时，误差是加性的，但在MoE架构中沿着模态对齐路径是例外。

### 4.5 H5：跨平台稳定性

表1 (https://arxiv.org/html/2607.08029#S1.T1) 显示模型在两个平台（NX和AGX）上的准确率排名基本一致：对于任何给定的配置，模型排名保持相似。然而，延迟和能效指标因平台而异。例如，在NX 25W与AGX 60W下，LLaVA-OV-0.5B的TPOT分别为120毫秒/token和80毫秒/token。但按模型配置组合划分的延迟排名在平台上是一致的：Qwen3-VL-2B始终是token生成最快的，而PaliGemma2-3B是最慢的。

因此，假设得到支持：平台选择影响延迟和能效的绝对值，但不影响排名顺序。

## 5 结论

本研究通过系统分离五个sVLMs的组件，全面评估了量化策略。主要发现：
1.  **MoE模型对LLM INT4量化具有鲁棒性**：Qwen3-VL-2B在INT4下甚至提高了准确率，而密集变换器则退化。
2.  **SigLIP在Jetson上存在INT8延迟问题**：TensorRT内核覆盖不足导致了不成比例的慢速，建议保持FP16。
3.  **VRAM节省是以TPOT为代价的**：所有模型均实现了50%以上的VRAM节省，但TPOT增加了40-70%。
4.  **复合误差通常是加性的**，但在MoE模型的模态对齐路径上存在例外。
5.  **排名是平台不变的**，而绝对性能是平台特定的。

这些见解为边缘设备的组件级混合精度量化提供了实用指导。## 重新思考小型VLM量化：从组件级分析到硬件感知的边缘部署
来源：https://arxiv.org/html/2607.08029
###### 摘要

参数少于30亿的视觉语言模型的出现加速了设备端多模态智能的实现。然而，对组件级量化的细致理解仍是实现最佳部署的瓶颈。本文提出一个系统性的评估框架，在Jetson Orin NX和AGX上对六种量化配置下的五个假设进行实证验证。通过分离视觉编码器、投影器和大型语言模型主干，得到以下结果：(1) 量化敏感性由结构范式（MoE vs. 密集）主导，而非仅规模决定；MoE主干能在密集主干因INT4噪声而退化时保持稳健；(2) SigLIP编码器在Jetson Ampere上引起不成比例的INT8延迟——这是一种部署特定的编码器-内核-硬件交互，而非SigLIP的缺陷；(3) 尽管LLM的INT4量化大幅降低VRAM消耗，但由于反量化开销导致token生成变慢；(4) 复合量化误差基本可加，除非沿着模态对齐路径，而这依赖于架构；(5) 由于内存带宽限制，每焦耳智能度在不同平台间差异显著。

视觉语言模型，训练后量化，组件级分析，边缘部署，能效推理

表1：综合评估：所有模型和配置的感知、认知及MME总分，以及相对于cfg0（基线）的百分比变化。
Model | Config | Jetson NX Orin | | | Jetson AGX Orin | | | Perc. (Δ%) | Cogn. (Δ%) | Total (Δ%) | Perc. (Δ%) | Cogn. (Δ%) | Total (Δ%)
Qwen3-VL-2B-Instruct | cfg0 (Base) | 1508.20 | 513.57 | 2021.78 | 1485.46 | 497.86 | 1983.32
| cfg1 | 1524.25 (+1.06%) | 553.57 (+7.79%) | 2077.82 (+2.77%) | 1535.48 (+3.37%) | 533.57 (+7.17%) | 2069.05 (+4.32%)
| cfg2 | 1512.75 (+0.30%) | 477.14 (-7.09%) | 1989.89 (-1.58%) | 1501.77 (+1.10%) | 503.57 (+1.15%) | 2005.34 (+1.11%)
| cfg3 | 1514.92 (+0.45%) | 531.43 (+3.48%) | 2046.35 (+1.22%) | 1538.39 (+3.56%) | 526.07 (+5.67%) | 2064.46 (+4.09%)
| cfg4 | 1505.65 (-0.17%) | 467.86 (-8.90%) | 1973.51 (-2.39%) | 1504.48 (+1.28%) | 523.93 (+5.24%) | 2028.41 (+2.27%)
| cfg5 | 1511.96 (+0.25%) | 517.14 (+0.69%) | 2029.10 (+0.36%) | 1524.09 (+2.60%) | 554.64 (+11.40%) | 2078.73 (+4.81%)
DeepSeek-VL2-Tiny | cfg0 (Base) | 1550.76 | 360.36 | 1911.12 | 1556.35 | 360.36 | 1916.71
| cfg1 | 1584.33 (+2.16%) | 368.21 (+2