通过多轮提示验证提升量化模型在定性分析中的性能

# 通过多轮提示验证改进定性分析中量化模型的性能
来源：https://arxiv.org/html/2605.20193
11机构：图尔库大学，芬兰图尔库，
11电子邮件：aisvarya\.a\.adeseye@utu\.fi
22机构：图尔库大学，芬兰图尔库
22电子邮件：jouni\.isoaho@utu\.fi
33机构：Brilloconnetz Partners avoin yhtiö，芬兰图尔库
33电子邮件：adeyemi@brilloconnetz\.com###### 摘要

量化大型语言模型（LLM）因其运行速度快且计算资源需求少，在定性分析中的应用日益增多。本研究考察了不同低位量化级别（8位、4位、3位和2位）及量化类型对LLaMA-3.1（8B）在定性分析中性能的影响。研究使用了来自82份访谈记录中的专家和非专家回答。低位模型往往会产生更高程度的幻觉和不稳定结果，尤其是在阅读包含模糊术语的非专家语言时。为了提升性能，我们提出了一种量化感知的多轮提示验证方法。该方法通过受控步骤引导模型，从而减少幻觉。它去除不可靠内容，并在验证后将结果传递给下一个转录记录，从而提高准确性。为了验证性能，人类编码员使用NVivo和BF16 LLaMA分析了转录记录。BF16 LLaMA-3.1生成了高精度输出，但存在语义漂移和幻觉。这些错误通过手动方式修正。修正后的BF16输出与NVivo人工编码相结合，生成了用于主题提取和频率分析的黄金标准真实值（GSGT）。结果显示，8位模型与GSGT最为接近。4位模型虽然精度有所下降，但在应用所提方法后趋于稳定。3位和2位模型由于高度压缩导致性能下降，但通过所提提示设计和验证方法后有所改善。研究还发现，相同位级别的模型因量化类型不同而表现各异。总体而言，该方法有助于低资源LLM变得更加稳定、准确，并以更低成本适用于定性研究。

###### 关键词：

量化大型语言模型；低位量化；LLaMA-3.1（8B）；定性分析；幻觉抑制；提示验证；多轮提示；资源高效型AI。

## 1引言

大型语言模型在定性分析中的应用日益广泛，因为它们能够总结长文本、识别主题，并以高速度和低人工投入支持编码任务[1](https://arxiv.org/html/2605.20193#bib.bib1)。这些模型帮助研究人员处理大型数据集，减少人工工作量，并在社会科学、网络安全、行为研究和医疗保健等领域支持反思性分析[2](https://arxiv.org/html/2605.20193#bib.bib2), [3](https://arxiv.org/html/2605.20193#bib.bib3)。然而，现有工作大多依赖于全精度LLM或基于商业API的系统[4](https://arxiv.org/html/2605.20193#bib.bib4), [5](https://arxiv.org/html/2605.20193#bib.bib5)。这些系统带来了两大挑战：高计算成本和隐私风险[6](https://arxiv.org/html/2605.20193#bib.bib6)。量化提供了一个有前景的解决方案，因为它有助于减小模型大小，从而降低资源使用。它降低了模型权重和激活值的位精度，使得LLM能够在更小的硬件上以更低的成本运行[10](https://arxiv.org/html/2605.20193#bib.bib10)。然而，量化也会增加幻觉、语义漂移和准确性损失，尤其是在阅读非专家语言时，这类语言往往包含不清晰或不一致的措辞。先前的研究已探索过幻觉抑制[7](https://arxiv.org/html/2605.20193#bib.bib7), [8](https://arxiv.org/html/2605.20193#bib.bib8)和提示设计[9](https://arxiv.org/html/2605.20193#bib.bib9)，但并未考察不同量化级别和量化类型对LLM在定性分析中性能的影响。它们也未探讨专家和非专家术语如何改变量化LLM的行为。此外，先前的工作很少将量化LLM的输出与使用NVivo等工具的强人工编码基准进行比较。

本研究的目标是开发并评估一种量化感知的多轮提示验证框架，以提高量化的LLaMA-3.1（8B）模型在定性访谈分析中的准确性、可靠性和幻觉抑制效果。研究有三个主要目标：

1. 1. 分析不同量化级别（8位、4位、3位、2位）和不同量化类型如何影响准确性、稳定性和幻觉。
2. 2. 开发量化感知的多轮提示验证框架，以减少低精度模型中专家和非专家输入的幻觉并改善主题对齐。
3. 3. 评估使用该框架的量化低精度模型是否能够达到适合实际应用的性能水平。

本文有三个关键贡献。首先，它首次在幻觉感知指标下，对多个量化级别（8位、4位、3位、2位）和量化类型在定性转录分析中进行了系统评估。其次，它引入了一种专门为稳定低位本地LLM部署而设计的量化感知多轮验证工作流。第三，它通过实证表明，结构化验证可以弥补资源受限环境中的精度损失，从而在不增加模型规模的情况下实现实用的定性分析。

## 2相关工作

早期关于Transformer训练后量化的工作侧重于低位宽下的高精度。GPTQ实现了有效的3-4位量化，且精度损失极小[10](https://arxiv.org/html/2605.20193#bib.bib10)。它表明，量化过程中仔细的权重更新可以在大幅减少内存的同时保持生成质量。SmoothQuant通过将量化难度从激活值迁移到权重，实现了8位权重和激活量化（W8A8）[11](https://arxiv.org/html/2605.20193#bib.bib11)。SmoothQuant实现了近乎无损的8位量化。AWQ提出了激活感知的权重量化方法，用于低位（INT3/4）LLM[12](https://arxiv.org/html/2605.20193#bib.bib12)。AWQ实现了稳定的3-4位压缩。我们的工作将AWQ风格格式作为实验中几种3位配置之一。SpQR在非常低的位宽下实现了近乎无损的压缩[13](https://arxiv.org/html/2605.20193#bib.bib13)。它在不同模型规模下实现了近乎无损的压缩，甚至可以达到2位有效精度且困惑度损失很小。后续评估表明，SpQR在极低位宽下可以优于GPTQ[14](https://arxiv.org/html/2605.20193#bib.bib14)。我们的研究包括用于2位量化的SPQR、用于3位量化的AWQ、用于4位量化的GPTQ和用于8位量化的SmoothQuant，但我们不关注困惑度或推理基准，而是测试它们在有噪声的非专家语言下进行主题编码、频率分析和幻觉抑制的表现。

Jin等人[15](https://arxiv.org/html/2605.20193#bib.bib15)在十个基准上对多种量化策略进行了全面评估，涵盖了知识、对齐和效率。他们表明，4位模型在多项任务上可以接近全精度，而2位模型通常会严重退化。他们还强调了部署量化LLM时的工程挑战，如速度和硬件约束。我们的研究受这种结构化评估的启发，但专注于专家/非专家编码、定性分析和幻觉感知指标，而非通用的问答（QA）或推理基准。Huang等人[16](https://arxiv.org/html/2605.20193#bib.bib16)调查了LLM中的幻觉。他们讨论了原因，如暴露偏差、置信度计算错误和提示设计问题，并提供了分类。他们概述了缓解策略，包括验证、检索和更好的监督，但未将量化作为一个因素进行研究。我们的工作通过展示低位量化如何影响定性任务中的幻觉，并评估一种针对量化模型量身定制的具体多轮验证方案，将这两个领域连接起来。

最近的工作集中在LLM如何在定性研究和编码工作流中使用。Adeseye等人[17](https://arxiv.org/html/2605.20193#bib.bib17)评估了LLM在匿名访谈记录的主题分析、频率提取和影响评估方面的表现。他们比较了不同大小模型的成本、吞吐量、幻觉率和准确性。他们的研究激励了在隐私敏感的定性工作中使用本地LLM。

虽然多轮提示和自我验证策略已在先前的提示工程文献中得到探索，包括自我精炼[18](https://arxiv.org/html/2605.20193#bib.bib18)、思维链验证[19](https://arxiv.org/html/2605.20193#bib.bib19)和接地生成方法[20](https://arxiv.org/html/2605.20193#bib.bib20)，以及基于批评的提示[21](https://arxiv.org/html/2605.20193#bib.bib21)、约束结构化生成[22](https://arxiv.org/html/2605.20193#bib.bib22)和证据接地提取框架[23](https://arxiv.org/html/2605.20193#bib.bib23)，但这些工作主要关注提高全精度模型或大型API系统的推理准确性。此外，检索增强生成（RAG）方法通过在推理过程中整合外部知识源来增强事实可靠性[24](https://arxiv.org/html/2605.20193#bib.bib24)。然而，这些方法并未考察激进的训练后量化引入的数值精度约束如何改变模型可靠性、幻觉倾向或定性分析任务中的主题稳定性。

相比之下，本研究调查了在代表性的容量显著降低的本地部署场景中，极端低位量化（2-8位）下的验证提示。此外，与先前以推理为中心的基准不同，我们的评估是在需要主题编码、频率提取和聚类验证的长篇定性访谈记录上进行的。所提出的框架不是通过外部检索或额外监督来增强模型，而是通过迭代内部验证强制进行严格的转录接地验证，从而将量化效果与知识增强隔离开来。这种量化感知评估、领域特定的定性分析和结构化验证工作流的组合构成了本研究的主要创新点。

## 3方法论

本研究遵循多阶段方法论，旨在考察不同量化级别如何影响定性主题编码和频率分析的准确性。它还评估了所提出的量化感知提示和多轮验证过程如何在低位模型中提高准确性。完整的工作流如图1所示。该图展示了本研究的完整流程，从人工编码和真实值创建到量化模型分析和最终评估。每个阶段的简要讨论如下：

参见图注图1:多阶段方法论阶段1 – 人工编码：首先，两位研究人员在NVivo中对所有转录记录进行了编码。他们识别了主题、关键词、引用和频率。结果创建了集合R1。

阶段2 – BF16 LLM编码：接下来，LLaMA-3.1-8B（BF16）分析了相同的转录记录。之后，2位研究人员检查并修正了结果。因此创建了集合R3。

阶段3 – 随后，R1（两位研究人员的合并输出）与R3相结合。在此整合过程中，只保留经过手动验证且双方一致同意的发现。最终输出形成了黄金标准真实值（GSGT），记为R4。此步骤的主要目的是减轻人工遗漏偏差的风险。虽然研究人员可能会无意中忽略某些相关的见解，但LLM辅助分析（R3）可能会发现额外的发现。然而，为了保持方法论的严谨性和可靠性，任何LLM识别的见解只有在经过两位研究人员手动验证并达成一致后，才会被纳入GSGT。这确保了最终基准反映了经过严格验证且全面的定性发现代表。

阶段4 – 量化评估：随后，量化模型（8位、4位、3位、2位）分析了转录记录。在此阶段，测试在未使用和使用多轮验证的情况下进行。相应地，输出包括原始结果和验证结果（R5）。

阶段5 – 评估：最后，将所有输出与GSGT进行比较。在此步骤中，指标衡量了准确性、漂移、幻觉、稳定性、频率和聚类（参见第3.3节）。实施和黄金标准真实值的完整信息见附录8.1和8.2。

### 3.1量化模型

使用多种量化方法创建了模型的低精度版本。8位组包括SmoothQuant、INT8和GGUF Q8_0。这些方法将权重和激活值都量化为8位整数，从而在减少内存使用的同时保持高精度。4位组包括Q4_K_M、NF4和GPTQ-4bit。Q4_K_M将权重量化为4位整数，并应用分组缩放来稳定激活值。激活值本身保持较高精度，但分组缩放有助于在推理过程中将它们保持在安全范围内。NF4将权重量化为4位浮点值，而激活值保持较高精度。GPTQ-4bit使用逐层误差校正将权重量化为4位整数，并同样保持激活值的高精度。3位方法HQQ和AWQ将权重量化为3位整数。HQQ使用基于Hessian矩阵的选择来保护重要权重，而AWQ使用激活感知评分来决定哪些权重需要更高精度。这两种方法都保持激活值的高精度以避免不稳定。2位方法SPQR和GGUF Q2_K将权重量化为2位整数以实现极端压缩。SPQR还利用稀疏性信息来减少量化误差。GGUF Q2_K应用分组2位量化以实现高效的本地推理。这两种方法都保持激活值的高精度，因为2位激活量化对于Transformer来说是不可行的。

### 3.2数据集

本研究使用的数据集包含82次半结构化访谈。参与者来自不同部门，包括非政府组织、公司、大学、政府机构和医疗保健组织。每次访谈持续45到60分钟。访谈产生了长篇幅的转录记录，字数在8,000到13,000字之间。访谈重点是与组织内部引入游戏化相关的隐私担忧。参与者被问及他们在隐私和数据保护方面的知识水平。那些表示比较熟悉或非常熟悉的被归类为专家（n = 33）。其余知识水平较低或没有隐私方面正式背景的参与者被归类为非专家（n = 49）。数据集包含来自专家和非专家的混合回答，使得能够分析量化模型在不同语言复杂性下的表现。