ClickGuard：使用信息量度量和大语言模型检测并识破点击诱饵新闻

# ClickGuard: 利用信息度量与大型语言模型检测并破解点击诱饵新闻
来源：https://arxiv.org/html/2607.20463
Wojciech Michaluk 华沙理工大学数学与信息科学学院 波兰华沙 wojciech\.michaluk\.stud@pw\.edu\.pl  
Tymoteusz Urban 华沙理工大学数学与信息科学学院 波兰华沙 tymoteusz\.urban\.stud@pw\.edu\.pl  
Mateusz Kubita 华沙理工大学数学与信息科学学院 波兰华沙 mateusz\.kubita\.stud@pw\.edu\.pl  
Soveatin Kuntur 华沙理工大学数学与信息科学学院 波兰华沙 soveatin\.kuntur\.dokt@pw\.edu\.pl  
Anna Wróblewska 华沙理工大学数学与信息科学学院 波兰华沙 anna\.wroblewska1@pw\.edu\.pl  

###### 摘要

本文介绍了一款基于人工智能的浏览器扩展，该扩展能够识别点击诱饵，帮助用户避开误导性的互联网文章。该应用超越了传统的检测方式，采用了一种混合机器学习架构，将基于Transformer的嵌入与语言特征以及自定义的“诱饵度”评分相结合。在评估了从经典向量化器到大型语言模型（LLM）嵌入等多种自然语言处理技术后，我们开发了一个基于XGBoost的模型，在开放组合数据集上实现了91%的F1分数。最重要的是，该工具可以在用户访问点击诱饵文章之前和之后发出警告。打开文章后，用户会收到一个百分比评分，指示其为点击诱饵的可能性。该预测基于分析指标进行解释，包括系统专门开发的指标。该浏览器扩展还提供了点击诱饵的剧透——对整篇文章的一到两句摘要。演示视频：https://www.youtube.com/watch?v=IJ1gkQV82C4

参考图注图1：ClickGuard的视觉摘要

## 1. 引言

点击诱饵指的是专门设计来诱使读者点击链接，但点击后几乎没有任何回报的在线内容[15 (https://arxiv.org/html/2607.20463#bib.bib21)]。因此，点击诱饵已成为互联网上一个普遍存在的问题，浪费用户时间并助长虚假信息的传播。现有的点击诱饵检测方法大多将任务视为二分类问题，并依赖于全文内容、多模态输入或计算成本高昂的语言模型，这使得它们大多不适合实时、真实的部署[17 (https://arxiv.org/html/2607.20463#bib.bib56)][1 (https://arxiv.org/html/2607.20463#bib.bib53)]。（图1 (https://arxiv.org/html/2607.20463#S0.F1) 展示了系统工作流程的视觉摘要。）

我们的目标是通过填补理论NLP进展与实用、以用户为中心的工具之间的差距来应对这一挑战。我们开发了ClickGuard，一个浏览器扩展，不仅能够检测点击诱饵，还能告知互联网用户点击点击诱饵文章的潜在威胁。值得一提的是，现有解决方案通常作为“黑盒”运行。本文提出的解决方案优先考虑可解释性。我们实现了一个混合机器学习框架，将来自大型语言模型（LLM）的密集向量表示与一组新颖的15个语言驱动的“信息度量”相结合——例如超级形容词的使用、第二人称代词以及特定的标点模式[19 (https://arxiv.org/html/2607.20463#bib.bib43)]。

我们评估了从经典基线到先进基于Transformer的模型（如BERT和RoBERTa[9 (https://arxiv.org/html/2607.20463#bib.bib46)]）等广泛的架构。提出的解决方案利用在混合特征上训练的XGBoost分类器，在开放组合点击诱饵检测数据集上实现了91%的F1分数，并且优于纯基于嵌入的方法和基于LLM的分类。该分析为选择在浏览器环境中既保持高预测精度又满足计算效率要求的模型提供了依据。除了检测，ClickGuard还通过自动化内容剧透来解决好奇心缺口。生成式AI提取并总结点击诱饵文章中的关键信息，使用户无需访问页面即可满足好奇心[6 (https://arxiv.org/html/2607.20463#bib.bib44)][8 (https://arxiv.org/html/2607.20463#bib.bib45)]。我们将这些模型集成到ClickGuard中，这是一个实时浏览器扩展，可在搜索引擎上分析标题，并在导航时分析完整文章。此外，该扩展还提供基于我们信息度量的“诱饵度”评分和解释。

参考图注图2：ClickGuard的客户端-服务器架构，包括浏览器扩展和Python REST API后端。

## 2. 相关工作

点击诱饵检测的研究已经从使用经典机器学习技术[3 (https://arxiv.org/html/2607.20463#bib.bib33)]发展到采用先进的深度学习架构。最近的研究表明，先进的AI模型，如深度递归神经网络[12 (https://arxiv.org/html/2607.20463#bib.bib26)]和其他深度学习方法[5 (https://arxiv.org/html/2607.20463#bib.bib191)]，在检测煽动性标题和点击诱饵方面非常有效。在实际应用领域，诸如CliNe[11 (https://arxiv.org/html/2607.20463#bib.bib47)]和ClickBaitSecurity[12 (https://arxiv.org/html/2607.20463#bib.bib26)]等浏览器扩展已被开发出来提供实时保护。然而，大多数现有工具作为二元分类器运作，未能解决用户的好奇心缺口。我们的工作通过结合生成式内容剧透[7 (https://arxiv.org/html/2607.20463#bib.bib36)]直接满足用户的好奇心，弥补了这一局限。

## 3. 系统架构

ClickGuard系统遵循客户端-服务器架构，将计算密集型任务从用户浏览器卸载到可扩展的云端后端——见图2 (https://arxiv.org/html/2607.20463#S1.F2)。该解决方案由两个主要组件组成：一个基于Chromium的浏览器扩展（客户端）和一个托管在Google Cloud Platform上的Python微服务（服务器）。

##### 浏览器扩展（客户端）。

基于Chrome Manifest V3构建，客户端由以下组件组成：

内容脚本#1（点击后模式）：在已打开的文章页面上激活。它提取页面标题和正文。将内容转发给服务工作线程进行后端分析，并在弹出界面中显示返回的概率评分和剧透。

内容脚本#2（点击前模式）：在受支持的搜索引擎和新闻页面上执行。它扫描DOM中的文章链接，批量发送URL进行分析，并在用户点击之前将彩色风险徽章注入标题旁边。

服务工作线程：负责内部消息传递、与Python后端的REST API通信以及本地缓存预测的后台编排器。

弹出界面：显示“诱饵度”评分、可解释性说明和生成的剧透的可视化前端。

##### 后端与API。

后端是一个容器化的Python微服务（Flask），部署在Google Cloud Run上。它使用BeautifulSoup4和Trafilatura执行内容提取，并公开一个REST API，分别包含点击前和点击后两个端点。

点击前端点：批量分析来自搜索结果的URL，并返回用于渲染彩色风险徽章的概率评分（图3 (https://arxiv.org/html/2607.20463#S3.F3)）。

点击后端点：处理已打开的文章，并返回预测、概率评分、解释和生成的剧透（图4 (https://arxiv.org/html/2607.20463#S3.F4)）。

参考图注图3：ClickGuard在点击前模式下运行。标题旁的图标表示由混合XGBoost模型计算的点击诱饵概率。

参考图注图4：ClickGuard在点击后模式下运行，带有点击诱饵剧透。

## 4. 机器学习模型

为了在浏览器扩展中实现对点击诱饵的实时干预，我们开发了一个两阶段流水线：用于检测的混合分类模型和用于内容剧透的生成模型。我们评估了从传统词汇基线到大型语言模型（LLM）的几种方法，以平衡准确性与延迟约束。

##### 训练数据集。

我们使用了四个英文数据集来开发和评估我们的检测与剧透模型：
Kaggle数据集：两个数据集总共约53,000个新闻标题，带有二元点击诱饵标签[2 (https://arxiv.org/html/2607.20463#bib.bib24)][16 (https://arxiv.org/html/2607.20463#bib.bib27)]。
2017年点击诱饵挑战赛：38,830条社交媒体帖子[18 (https://arxiv.org/html/2607.20463#bib.bib29)]。
SemEval-2023 任务5：约4,000条带有抽象式和抽取式剧透标注的条目，用于剧透任务[10 (https://arxiv.org/html/2607.20463#bib.bib48)]。

对于检测，我们将Kaggle和点击诱饵挑战赛数据集合并，并创建了一个平衡子集，包含20,000个点击诱饵和20,000个非点击诱饵标题，以防止分类器偏差[4 (https://arxiv.org/html/2607.20463#bib.bib39)]。

### 4.1 点击诱饵检测

对于这个二分类任务，我们测试了各种基线，包括TF-IDF、Word2Vec和RoBERTa。我们的最佳结果来自一种混合架构，该架构结合了深层语义嵌入和显式语言特征[3 (https://arxiv.org/html/2607.20463#bib.bib33)]。

深层语义嵌入：我们利用OpenAI的text-embedding-3-large生成标题的密集向量表示。对维度的消融研究表明，将嵌入投影到1000维（从3072维）能够保持预测性能，同时显著减少计算开销[13 (https://arxiv.org/html/2607.20463#bib.bib35)]。
信息度量：为了捕捉语义嵌入中不一定保留的文体细微差别，我们计算了15个手工设计的语言驱动特征[19 (https://arxiv.org/html/2607.20463#bib.bib43)]。这些包括可读性指标（例如FRES）、情感分数（极性、主观性）以及结构性指标，如停用词比例和“诱饵”标点。关键的是，我们引入了一个自定义的“诱饵度”度量，这是一个综合评分，聚合了引人注目性（例如大写、数字）和引发好奇心的模式，这被证明能有效区分类别[14 (https://arxiv.org/html/2607.20463#bib.bib51)]。

#### 4.1.1 分类器选择

我们在这些混合表示上训练了基于树的分类器，特别是随机森林和XGBoost。在1000维嵌入与115个信息度量拼接的向量上训练的XGBoost分类器，在我们的数据集（测试集）上取得了最高性能，F1分数为0.909。表1 (https://arxiv.org/html/2607.20463#S4.T1) 详细列出了该模型的混淆矩阵，显示性能均衡，在非点击诱饵类别上精度略高。

表1：最佳性能模型的混淆矩阵。布局设置为与性能比较表的宽度匹配。
表2 (https://arxiv.org/html/2607.20463#S4.T2) 总结了我们的提议模型相对于基线的性能。值得注意的是，这种混合方法在仅使用嵌入（无文体特征）训练的模型上表现高出约4.5个百分点。

特征表示 | 分类器 | F1分数
--- | --- | ---
**基线** | | 
TF-IDF | 随机森林 | 0.829
Word2Vec (Google News) | XGBoost | 0.829
RoBERTa (微调) | Transformer | 0.842
OpenAI 嵌入(3072d) | XGBoost | 0.864
**提议的混合模型** | | 
OpenAI 嵌入(1000d) + 15个特征 | XGBoost | 0.909
表2：点击诱饵检测模型的性能比较。数值根据指南右对齐。

### 4.2 点击诱饵剧透

我们的系统使用一个剧透模块来生成满足读者好奇心的简短摘要。我们还尝试了使用RoBERTa的抽取式方法以及微调T5-large，但在输出连贯性和计算资源方面遇到了限制。最终，我们决定通过浏览器扩展使用GPT-4o-mini。

## 5. 总结与影响

本文介绍了ClickGuard，一个实用的AI应用程序，旨在解决数字注意力经济和在线虚假信息带来的挑战。ClickGuard警告用户关于潜在的操纵性内容——所谓的点击诱饵。该解决方案整合了AI方法：1）一种混合架构，结合了深层语义嵌入与15个显式语言特征（在大型开放数据集上实现了0.909的F1分数）；2）一个基于LLM的解决方案，用于剧透检测到的潜在点击诱饵内容。

在浏览搜索结果页面时，用户会看到一个点击前警告，指示该网站的点击诱饵概率。在点击后模式下打开新网站后，用户会获得整个页面的额外摘要——所谓的点击诱饵剧透。我们的解决方案可以在在线阅读新闻文章时节省时间并减少用户信息过载。

当前版本是在英文数据集上微调的；然而，将其适配到其他语言或多语言设置需要对语言特征进行微小调整并微调我们的机器学习模型。我们的解决方案也具有成本效益，因为它使用了简单的语言统计作为特征和一个小的嵌入模型，仅有额外的剧透由LLM处理。

## 致谢

这项工作得到了欧盟地平线欧洲资助“克服多层次信息过载”（OMINO，https://ominoproject.eu/，资助编号：101086321）以及波兰教育与科学部在国际项目共同融资框架下的支持。然而，所表达的观点和意见仅为作者个人观点，不一定反映欧盟或欧洲研究执行机构的观点。欧盟和欧洲研究执行机构均不对它们负责。我们感谢Daniel Dan博士、Robert Paluch博士和Adam Majczyk工程师（硕士）的协助和有益意见。非常感谢他们的贡献。

## 参考文献

- [1] (2026) 一种基于多模态集成的框架，利用视觉和文本特征检测假新闻。《数学》，14(2)，第360页。引用自：§1 (https://arxiv.org/html/2607.20463#S1.p1.1)。
- [2] A. Anand (2019) 点击诱饵数据集。注：https://www.kaggle.com/datasets/amananandrai/clickbait-dataset/ 访问日期：2024年10月28日。引用自：§4 (https://arxiv.org/html/2607.20463#S4.SS0.SSS0.Px1.p1.1)。
- [3] M. Bronakowski, M. Al-khassaweneh, and A. Al Bataineh (2023-01) 使用语义分析和机器学习技术自动检测点击诱饵标题。《应用科学》，13(4)。注：访问日期：2024年10月30日。DOI: https://doi.org/10.3390/app13042456 引用自：§2 (https://arxiv.org/html/2607.20463#S2.p1.1), §4.1 (https://arxiv.org/html/2607.20463#S4.SS1.p1.1)。
- [4] C. Chen and L. Breiman (2004-01) 使用随机森林学习不平衡数据。注：https://www.researchgate.net/publication/254196943_Using_Random_Forest_to_Learn_Imbalanced_Data 访问日期：2024年10月30日。引用自：§4 (https://arxiv.org/html/2607.20463#S4.SS0.SSS0.Px1.p2.1)。
- [5] A. Chowanda, N. Nadia, and L. Kolbe (2023-06) 使用深度学习识别在线新闻中的点击诱饵。《电气与电子工程信息学报》，12，第1755–1761页。注：访问日期：2024年11月14日。引用自：§2 (https://arxiv.org/html/2607.20463#S2.p1.1), §4.1 (https://arxiv.org/html/2607.20463#S4.SS1.p1.1), §4.1.1 (https://arxiv.org/html/2607.20463#S4.SS1.SSS1.p1.1)。
- [6] P. Davies, et al. (2023) 利用LLM进行点击诱饵剧透。引用自：§1 (https://arxiv.org/html/2607.20463#S1.p1.1), §4.2 (https://arxiv.org/html/2607.20463#S4.SS2.p1.1)。
- [7] E. Eisner, et al. (2021) 点击诱饵剧透：满足网络好奇心的工具。引用自：§2 (https://arxiv.org/html/2607.20463#S2.p1.1), §4.2 (https://arxiv.org/html/2607.20463#S4.SS2.p1.1)。
- [8] F. Fabbri, et al. (2020) 利用生成式摘要进行点击诱饵剧透。引用自：§1 (https://arxiv.org/html/2607.20463#S1.p1.1), §4.2 (https://arxiv.org/html/2607.20463#S4.SS2.p1.1)。
- [9] J. Howard and S. Ruder (2018) 用于文本分类的通用语言模型微调。引用自：§1 (https://arxiv.org/html/2607.20463#S1.p1.1), §4.1 (https://arxiv.org/html/2607.20463#S4.SS1.p1.1), §4.2 (https://arxiv.org/html/2607.20463#S4.SS2.p1.1)。
- [10] A. 等人 (2023) SemEval-2023 任务5：点击诱饵剧透。引用自：§4 (https://arxiv.org/html/2607.20463#S4.SS0.SSS0.Px1.p1.1), §4.2 (https://arxiv.org/html/2607.20463#S4.SS2.p1.1)。
- [11] L. Kang, et al. (2021) CliNe：用于新闻可信度的浏览器扩展。引用自：§2 (https://arxiv.org/html/2607.20463#S2.p1.1), §3.1 (https://arxiv.org/html/2607.20463#S3.SS1.p1.1)。
- [12] L. Li, et al. (2020) 使用深度循环神经网络进行点击诱饵检测。引用自：§2 (https://arxiv.org/html/2607.20463#S2.p1.1), §4.1 (https://arxiv.org/html/2607.20463#S4.SS1.p1.1)。
- [13] S. 等人 (2023) 嵌入维数对分类性能的影响。引用自：§4.1 (https://arxiv.org/html/2607.20463#S4.SS1.p1.1), §4.1.1 (https://arxiv.org/html/2607.20463#S4.SS1.SSS1.p1.1)。
- [14] J. 等人 (2020) 诱饵度：一种衡量点击诱饵吸引力的综合指标。引用自：§4.1 (https://arxiv.org/html/2607.20463#S4.SS1.p1.1), §4.1.1 (https://arxiv.org/html/2607.20463#S4.SS1.SSS1.p1.1)。
- [15] N. 等人 (2018) 点击诱饵的定义与影响。引用自：§1 (https://arxiv.org/html/2607.20463#S1.p1.1)。
- [16] R. 等人 (2016) 用于点击诱饵检测的数据集。引用自：§4 (https://arxiv.org/html/2607.20463#S4.SS0.SSS0.Px1.p1.1)。
- [17] R. 等人 (2021) 实时点击诱饵检测的挑战。引用自：§1 (https://arxiv.org/html/2607.20463#S1.p1.1)。
- [18] T. 等人 (2017) 2017年点击诱饵挑战赛数据集。引用自：§4 (https://arxiv.org/html/2607.20463#S4.SS0.SSS0.Px1.p1.1)。
- [19] W. 等人 (2022) 用于点击诱饵检测的语言驱动的信息度量。引用自：§1 (https://arxiv.org/html/2607.20463#S1.p1.1), §4.1 (https://arxiv.org/html/2607.20463#S4.SS1.p1.1)。