用于令牌高效且语义保持的观点摘要的大语言模型

# 用于令牌高效且语义保持的观点摘要的大型语言模型
来源：https://arxiv.org/html/2607.10825
Stefano Iannicelli 卡拉布里亚大学，意大利伦德

###### 摘要

观点文本——涵盖产品评论、酒店反馈和社交媒体帖子——捕捉了关于用户体验、偏好和关注点的丰富信号。然而，此类语料库的规模、冗余和不平衡性使得有效分析观点变得具有挑战性，尤其是在目标是生成忠实于所表达观点多样性的摘要时。本文提出了一种框架，在基于LLM的观点摘要中保持语义，同时最小化令牌使用。我们将多维分类（例如，情感、主题）与一系列分层抽样策略相结合，在提示LLM之前选择紧凑且具有代表性的观点子集。然后，定制化的提示生成平衡的摘要，突出显示观点中表达的显著方面（例如，产品/酒店的优缺点）。在亚马逊产品评论、Tripadvisor酒店评论和X/Twitter帖子上的实验表明，我们的方法显著减少了令牌使用和计算成本，同时在内容覆盖、平衡性和语义保持方面持续优于传统的基于AI和标准LLM摘要基线。

关键词：大型语言模型；评论摘要；观点挖掘

## 1 引言

用户生成的观点，以产品评论、酒店评估、社交媒体帖子和同伴支持讨论的形式，构成了捕捉用户体验、偏好和关注点的丰富信息来源[28（https://arxiv.org/html/2607.10825#bib.bib36），31（https://arxiv.org/html/2607.10825#bib.bib37）]。组织依赖这些信号来评估产品性能、识别服务问题并监控新兴趋势，而用户则查阅它们来收集信息、比较备选方案并做出明智决策[19（https://arxiv.org/html/2607.10825#bib.bib33）]。然而，这些语料库的规模、异质性和冗余性使得有效的观点分析变得具有挑战性，尤其是在旨在保持所表达观点的多样性和细微差别时[22（https://arxiv.org/html/2607.10825#bib.bib34），27（https://arxiv.org/html/2607.10825#bib.bib32）]。

大型语言模型（LLMs）为观点分类和分析提供了强大的能力，但直接将其应用于完整语料库通常效率低下且易于产生偏差：上下文窗口有限，处理大型输入的成本高昂，并且当输入分布不受控制时，模型输出倾向于过度加权多数观点[24（https://arxiv.org/html/2607.10825#bib.bib31）]。现有流程通常依赖于单一维度分析（例如，仅情感[27（https://arxiv.org/html/2607.10825#bib.bib32），24（https://arxiv.org/html/2607.10825#bib.bib31）]），未能考虑平衡多个语义方面（如主题和情感）的需求，或者在无原则标准下缩减观点集时会丢失重要信息。这些局限性凸显了对方法的需求，这些方法既能保持观点内容的多样性和结构，又能支持高效的大规模分析。

本文介绍了一种框架，旨在基于LLM的观点摘要中保持语义，同时最小化输入大小。该方法首先应用多维分类——例如情感、主题、情感以及可选的特定领域方面——来对语料库施加结构。然后，该框架在提示LLM之前采用分层抽样策略，选择紧凑且具有代表性的观点子集。通过向模型提供一个已经在各个方面平衡且内容信息丰富的子集，LLM能够生成比从原始或任意缩减输入中获得的摘要更忠实、偏差更小的摘要。定制化的提示引导模型恢复语料库中表达的显著方面，例如产品优缺点、酒店服务问题以及政治支持理由。与基于RAG的方法[16（https://arxiv.org/html/2607.10825#bib.bib17），10（https://arxiv.org/html/2607.10825#bib.bib18）]或依赖不断增大的上下文窗口的方法不同，我们的框架优化了输入给模型的内容：一种方面平衡的、语料库级别的选择，提高了生成质量，同时避免了暴力摄取或查询特定检索的成本和偏差权衡。为支持可重复性，所提出框架的实现可在https://github.com/SCAlabUnical/semantic-preserving-summarization公开获取。

我们在亚马逊产品评论、Tripadvisor酒店评估和Twitter/X上的政治讨论中评估了我们的框架，为每个领域配置了相应的方面集。在所有语料库中，与标准LLM摘要相比，我们的框架显著减少了摘要所需的令牌数量，同时保持了高内容覆盖率、方面平衡性和语义保持。通过向LLM提供一个紧凑但分布对齐的子集，模型生成的摘要更准确地反映了观点的多样性，而不是过度强调多数观点。这些结果表明，令牌高效、分布对齐的选择与方面感知的提示相结合，能够生成紧凑而忠实的摘要，支持跨异质领域的可扩展观点分析。

本文是对我们先前工作[2（https://arxiv.org/html/2607.10825#bib.bib12）]的实质性扩展，该工作引入了一个框架，通过在多维分类结果中选择代表性观点，然后传递给大型语言模型（LLM）以减少输入令牌同时保持观点多样性，从而生成用户评论的平衡摘要。与会议版本相比，这篇期刊文章引入了五项主要进展：

- •更广泛的算法范围：与考虑较窄的平衡选择设置的会议版本不同，我们介绍并比较了三种不同的分布感知采样技术，用于在摘要之前构建平衡子集：一种受相关性约束的Knapsack策略，一种KL正则化的Knapsack-KL变体，以及一种基于密度的KDE策略。
- •更严格的算法表述：我们对所提出的选择策略进行了形式化处理，阐明了它们的设计原则、计算属性以及在跨情感、主题和其他语义方面保持代表性观点中的作用。
- •扩展的实验验证：我们将实验分析扩展到多个数据集和领域，从而能够更稳健地评估不同采样策略如何影响语义保持、主题覆盖和摘要忠实度。
- •任务对齐的评估协议：与主要侧重于通过词汇、语义和定性度量来衡量整体摘要质量的会议版本不同，本文采用了专门设计的评估协议来评估令牌约束下的采样策略，重点关注主题覆盖、摘要级余弦相似度和令牌使用。
- •更深入的效率分析：我们研究了子集大小、令牌使用、计算成本和语义保持之间的权衡，并提供了额外的分析来阐明不同选择策略如何影响生成摘要的平衡性、代表性和可解释性。

本文的其余部分结构如下。第2节（https://arxiv.org/html/2607.10825#S2）回顾了相关工作。第3节（https://arxiv.org/html/2607.10825#S3）介绍了所提出的框架。第4节（https://arxiv.org/html/2607.10825#S4）讨论了结果。最后，第5节（https://arxiv.org/html/2607.10825#S5）对本文进行了总结。

## 2 相关工作

大型语言模型（LLMs）已广泛应用于教育、电子商务、医疗保健和网络安全等领域，用于问答、报告生成和数据可视化等任务[3（https://arxiv.org/html/2607.10825#bib.bib379），21（https://arxiv.org/html/2607.10825#bib.bib125）]。同时，自动摘要对于将大型文本集合浓缩为紧凑且面向决策的表示变得越来越重要，特别是当源材料冗余、嘈杂且难以手动检查时[20（https://arxiv.org/html/2607.10825#bib.bib9），26（https://arxiv.org/html/2607.10825#bib.bib5）]。这种需求在观点丰富的语料库中尤为明显，其中有效的摘要不仅应保留主导主题，还应保留跨文档表达的观点和态度的多样性[15（https://arxiv.org/html/2607.10825#bib.bib11）]。实际上，高质量且平衡的摘要很有价值，因为它有助于消费者做出明智的购买决策[2（https://arxiv.org/html/2607.10825#bib.bib12）]，支持基于用户评论对竞争产品和服务进行比较[8（https://arxiv.org/html/2607.10825#bib.bib8）]，并使组织能够从大量真实反馈中识别重复出现的优势、劣势和未满足的用户需求[13（https://arxiv.org/html/2607.10825#bib.bib6），12（https://arxiv.org/html/2607.10825#bib.bib7）]。

在观点挖掘中，LLMs和神经方法在主题建模、情感和情绪分析以及摘要方面有了显著改进[5（https://arxiv.org/html/2607.10825#bib.bib473），25（https://arxiv.org/html/2607.10825#bib.bib458）]，建立在经典情感分析研究[22（https://arxiv.org/html/2607.10825#bib.bib34），19（https://arxiv.org/html/2607.10825#bib.bib33）]以及针对推文和产品反馈的最新进展[1（https://arxiv.org/html/2607.10825#bib.bib462），23（https://arxiv.org/html/2607.10825#bib.bib464）]之上。然而，总结完整语料库仍然是令牌低效的，并且可能过度加权多数观点，这激发了在生成之前对输入进行结构和过滤的流程[27（https://arxiv.org/html/2607.10825#bib.bib32），24（https://arxiv.org/html/2607.10825#bib.bib31）]。现有方法通常依赖于单维度过滤——通常仅情感——因此不能充分平衡多个语义方面，如主题和情感，限制了它们产生异质观点空间代表性摘要的能力。

除了单维度过滤，一个相关的研究方向侧重于在摘要之前选择具有代表性和多样性的文档子集。在多文档和观点摘要中，这个问题尤其重要，因为最终摘要的质量不仅取决于生成模型，还取决于所选输入是否充分覆盖语料库中存在的主要方面和观点[6（https://arxiv.org/html/2607.10825#bib.bib4），33（https://arxiv.org/html/2607.10825#bib.bib3）]。现有方法探索了基于聚类的选择、促进多样性的排序和覆盖导向的采样[14（https://arxiv.org/html/2607.10825#bib.bib2），7（https://arxiv.org/html/2607.10825#bib.bib1）]，但它们通常强调词汇或语义冗余减少，而没有明确保留多维观点分布。我们的工作与这个方向一致，但不同之处在于我们使用结构化的语义方面——如情感、主题和情绪——在明确的令牌约束下指导子集构建。

检索增强生成（RAG）通过将输出基于检索到的证据来缓解一些局限性，提高了事实性并减少了幻觉[16（https://arxiv.org/html/2607.10825#bib.bib17）]。RAG变体在检索器设计、索引、重排序和融合机制上有所不同[10（https://arxiv.org/html/2607.10825#bib.bib18）]。最近的实践趋势倾向于使用越来越大的上下文窗口来摄入语料库的广泛部分，但这增加了令牌、计算和内存成本，并且可能放大多数观点偏差。我们的工作则朝着相反的方向：我们不是摄入或检索大量文本，而是在生成之前执行语料库级别的、方面感知的选择，以构建一个小型、分层且具有代表性的子集。这通过优化输入给模型的内容（而不仅仅是证据检索的方式）来补充RAG。

自动评估已超越了简单的n-gram重叠度量（如ROUGE[18（https://arxiv.org/html/2607.10825#bib.bib49）]），转向了基于嵌入的度量，如BERTScore[32（https://arxiv.org/html/2607.10825#bib.bib14）]，后者能更好地捕捉语义相似性。多文档摘要中的公平性导向工作也已出现，引入了评估跨组平衡表示的指标[17（https://arxiv.org/html/2607.10825#bib.bib16）]。虽然这些指标提供了有用的视角，但它们与我们旨在在严格令牌预算下保持语义结构的目标并不直接一致。相反，我们通过主题覆盖分析和摘要级余弦相似度来评估我们的方法，这些指标更精确地量化了所选子集反映完整语料库的程度以及生成的摘要保持意义的忠实度。

## 3 框架

我们现在描述所提出的框架，该框架将原始观点文本转换为紧凑、语义平衡的输入，用于基于LLM的摘要。如图1（https://arxiv.org/html/2607.10825#S3.F1）所示，该系统分四个阶段运行：(i) 数据收集，(ii) 多维分类和主题分析，(iii) 分层抽样，以及 (iv) 方面感知摘要。

在第一阶段，系统从异质领域（如亚马逊产品评论、Tripadvisor酒店评估和Twitter/X政治帖子）收集观点。数据通过官方API或定制爬虫获取，同时附带元数据（例如，时间戳、评分、有用性投票）。可选的过滤器——如关键词、时间窗口或类别约束——确保收集到的观点相关且具有代表性。

第二阶段执行观点分类和主题提取。每条观点在多个语义维度上进行标注，包括情感、情绪和主题，以及可选的特定领域方面（如候选人支持）。对于每个维度，定义一组相应的类别（例如，正面/负面情感、愤怒/喜悦情绪、数据集特定主题）。基于Transformer的分类器输出概率分数而非离散标签，而BERTopic提供基于嵌入的主题发现。这产生了一个结构化的概率表示，支持平衡的下游选择（详见第3.1节（https://arxiv.org/html/2607.10825#S3.SS1））。

第三阶段应用分层抽样，在给定的令牌预算下选择一个紧凑但具有代表性的观点子集。目标是在保留多样且信息丰富的实例的同时，保持跨所有语义维度的类别分布。第3.2节（https://arxiv.org/html/2607.10825#S3.SS2）讨论了多种策略（Knapsack、Kullback–Leibler、KDE）。

最后，最后阶段根据采样子集生成简洁且语义丰富的摘要。提示明确要求涵盖分类期间识别的相关方面，例如，产品或酒店的优缺点，或平衡的政治论点。通过将结构化分类与分布保持采样相结合，该框架产生既紧凑又忠实的摘要，在不牺牲语义质量的情况下实现了显著的令牌节省。