当AI改写时，分类器行为变化：讽刺与AI改写社交文本的不确定性情感分析

# 当人工智能重写文本，分类器如何放松：针对讽刺与AI改写社交文本的不确定性感知情感分析
来源：https://arxiv.org/html/2608.15338

###### 摘要

情感分类器正越来越多地应用于讽刺或AI生成的社交媒体内容——在这两种分布状态下，标准评估方法几乎无法提供指导。我们通过三部分实证研究分析了情感分类器在这些条件下的行为表现。首先，我们发现讽刺文本的置信度分数显著低于非讽刺文本（Mann–Whitney检验p=2×10⁻⁶），证实即使没有显式的不确定性建模，分类器也能*感知*其在反讽内容上的自身不确定性。其次，反直觉地，我们表明情感分类器在AI改写评论上的准确率*高于*原始人工撰写的文本（RoBERTa模型对Qwen3.5-4B改写文本提升+5.8pp，对Gemma4-E4B改写文本提升+3.7pp），这揭示了一种跨领域风格对齐效应：AI改写消除了干扰Twitter训练分类器的分布噪声，生成了更简洁、更典型的情感文本。第三，我们证明了一种轻量级的弃权包装器——标记置信度低于0.6的14%输入——能将保留数据集的准确率从82.2%提升至88.9%（+6.7pp）。我们进一步比较了语义熵和MC-Dropout式分歧作为不确定性信号的效果，发现它们在讽刺文本上的AUROC几乎相同（0.650 vs. 0.646），表明对于短社交媒体输入，这两种方法可以互换使用。我们的研究结果推动了从依赖置信的单标签预测向不确定性感知弃权方法的转变，这对于心理健康标记和内容审核等高风险情感应用具有重要意义。

## 1引言

情感分析是自然语言处理的基石任务，支撑着从客户体验分析到临床预筛查工具的各种应用。现代情感系统——无论是基于规则的（VADER），微调的编码器模型如RoBERTa，还是基于提示的大型语言模型（LLM）——共享相同的评估模式：在干净、人工标注的基准测试上计算准确率和F1值。这种评估模式未能捕捉到两个日益增长的挑战。

挑战一：讽刺与隐式情感。讽刺和反讽语言在社交媒体上普遍存在。与显式情感（“这个产品太糟糕了”）不同，讽刺通过积极的表面形式传达负面含义（“哦，太好了，又一个星期一”）。在显式情感文本上训练的模型在讽刺任务上存在公认的困难，但较少有研究关注它们的*置信度分数*是否反映了这种困难——这是一个校准问题，而非准确率问题。

挑战二：AI生成的社交媒体文本。社交媒体中由AI生成的内容日益增多：产品评论、评论区帖子以及由LLM撰写或辅助生成的新闻回复。在人工撰写的文本上训练的情感分类器，在语义内容等效的AI生成文本上可能表现不同。先前关于情感分析中分布偏移的研究主要集中在主题领域（评论vs.新闻）；文本的*生成来源*（人工vs. AI）尚未被系统地作为混淆变量进行研究。

我们通过统一的实证框架解决这两个挑战。使用iSarcasm数据集进行讽刺分析，使用Yelp Polarity数据集进行AI改写实验，我们测量：
1. 分类器置信度在讽刺输入上是否更低（置信度不稳定性）；
2. 当人工文本被语义等效的AI改写文本替代时，情感准确率是否发生变化（AI文本漂移）；
3. 简单的置信阈值弃权包装器是否能恢复因模糊输入而损失的准确率；
4. 在讽刺文本上，语义熵或MC-Dropout分歧方法能否更好地区分不确定与确定的预测。

与先前将AI生成文本视为检测问题的工作不同，我们将其视为*评估混淆变量*——探究的不是AI文本能否被识别，而是它的存在如何悄然扭曲下游分类器指标。

我们的核心发现——AI改写*提升*而非降低分类器准确率——是反直觉的，对分类器评估方法论和在线AI生成内容研究都具有直接启示。

## 2背景与相关工作

#### 情感分析与校准。

微调的Transformer模型在标准情感基准测试上达到高准确率，但已知在分布外输入上过度自信。预期校准误差衡量预测置信度与经验准确率之间的差距；温度缩放是标准的事后重新校准方法。尚未系统研究情感模型在*模糊*社交媒体内容上的校准情况。

#### 讽刺与反讽检测。

iSarcasmEval共享任务为Twitter上的讽刺检测建立了基准，提供细粒度类型标签（反讽、讽刺、轻描淡写、夸大其词、反问）。现有工作将讽刺检测视为独立的分类任务；而我们研究讽刺对未经专门讽刺设计的*情感*分类器置信度的影响。

#### 自然语言处理的不确定性量化。

蒙特卡洛Dropout在测试时通过多次前向传播采样近似贝叶斯不确定性。语义熵计算*意义等效*生成字符串的熵，而非表面令牌序列，从而为生成模型提供更校准的不确定性。先前研究了LLM上下文中学习的不确定性，为不确定性方法在短文本分类任务上的性能提供了背景。

#### AI生成文本与分布偏移。

HC3语料库提供了针对相同问题的人工与ChatGPT回答配对，支持人工与AI文本的可控比较。先前工作研究了AI文本的作者归属；另有研究探讨AI评论的可检测性。据我们所知，尚无先前工作根据文本是人工撰写还是AI改写来衡量现有分类器的*情感准确率*。

## 3实验设置

#### 评估模型。

我们评估两个情感分析系统：(1) VADER，广泛用于社交媒体的基于词典的规则系统；(2) RoBERTa-twitter，基于cardiffnlp/twitter-roberta-base-sentiment-latest模型在TweetEval情感数据上微调的模型。这两个模型覆盖了从规则到神经网络的谱系，代表了社交媒体情感研究中最常用的基线。推理在CPU（iSarcasm基线）和Kaggle T4x2 GPU（改写分类）上运行，所有结果均保存检查点以确保可重复性。

#### 数据集。

讽刺分析使用iSarcasm训练集：n=3,468条推文，其中25%标注为讽刺。iSarcasm提供讽刺类型标签但无情感极性真值；因此我们的讽刺实验聚焦于置信度不稳定性而非准确率。

AI改写实验使用Yelp Polarity：平衡采样的5,000条评论（2,500正面，2,500负面，按标签分层采样）。Yelp Polarity是二分类（标签0=负面，标签1=正面），使得准确率定义明确。

#### AI改写生成。

我们使用Qwen3.5-4B和Gemma4-E4B生成了两组5,000条Yelp评论的AI改写文本，两者均通过Ollama提供服务，温度=0.0（确定性）以确保可重复性。改写提示要求模型保留完全一致的情感极性和关键点，同时使用不同措辞，仅返回重写文本。对Qwen3.5明确抑制了思维模式令牌以避免污染。所有代码和笔记本可在https://github.com/Shroffx-n/uncertainity_aware_sentiment_analysis获取。

#### 不确定性比较设置。

对于语义熵与MC-Dropout比较，我们从iSarcasm中采样300个示例，每个示例使用温度0.7生成10个Qwen3.5-4B情感预测。语义熵计算为标签分布的香农熵；MC-Dropout分歧计算为1减众数标签的比例。针对代理正确性标签计算AUROC（预测标签vs多数投票参考），因为iSarcasm无情感真值。我们明确说明此局限性。

## 4结果

### 4.1讽刺置信度不稳定性

表1显示RoBERTa在讽刺与非讽刺iSarcasm示例上的置信度。讽刺输入的平均置信度（0.741）显著低于非讽刺输入（0.770）。Mann-Whitney U检验确认差异显著（U=1,005,295, p=2×10⁻⁶, n_sarc=867, n_non-sarc=2,601）。效应量虽小但一致且统计功效充足：RoBERTa的置信度分数可靠地包含了其在反讽内容上自身不确定性的信号，即使没有显式的不确定性建模。

表1：RoBERTa在讽刺与非讽刺iSarcasm推文上的置信度。讽刺文本上的较低置信度表明隐式不确定性感知。

### 4.2AI改写漂移

表2报告人工撰写与AI改写Yelp评论的情感准确率和语义漂移。

表2：原始人工文本与AI改写文本（n=5,000 Yelp Polarity评论）上的情感准确率。正Δ表示分类器在AI文本上表现更好。语义漂移（原始与改写分类之间的标签变化）范围为11.5%至17.7%。

与初始假设相反，AI改写一致提升了RoBERTa准确率，并多数提升了VADER准确率。我们将此归因于跨领域风格对齐效应：RoBERTa-twitter在简短、非正式的Twitter文本上训练。Yelp评论包含更长的句子、特殊格式和评论者特定习语，使文本偏离模型训练分布。AI改写剥离了这些特殊性，生成了更典型、更短的情感表达，更好地与模型的归纳偏置对齐。实际上，LLM改写无意中起到了领域适应步骤的作用。

11.5-17.7%的语义漂移率表明每六到八个改写中有一个获得与原始不同的分类器标签。鉴于准确率提升，这些标签变化主要是*错误到正确*的翻转（算术验证：RoBERTa-Qwen的573个标签变化中，291个是净改进，282个是净损失——近似对称但略为正向）。

### 4.3校准（ECE）

表3报告不同内容类型的预期校准误差。

表3：RoBERTa-twitter在不同内容类型上的预期校准误差（ECE）。AI文本上较低的ECE与表2中的准确率提升一致。

清晰极性人工文本上的ECE（0.056）较低，表明RoBERTa在其原生域上校准相当良好。AI改写文本上的ECE更低——与准确率提升结果一致：当模型更经常正确时，它往往也更自信地正确。我们未报告iSarcasm的ECE，因为其无情感极性真值。

### 4.4弃权包装器

我们使用RoBERTa的softmax置信度分数实现了置信阈值弃权包装器。置信度<0.6的输入被标记为模糊并从预测中排除；阈值选定为置信度分布中分离高确定性与不确定预测的自然谷值。5,000个Yelp示例中，700个（14.0%）被标记。剩余4,300个保留示例的准确率从82.2%提升至88.9%（+6.7pp；表4）。

表4：弃权包装器结果。标记示例（置信度<0.6）的准确率为41.3%——仅略高于三类问题的随机基线（33.3%）——确认置信阈值具有真正的区分能力。标记子集仅达到41.3%准确率——仅略高于三类问题的随机基线（33.3%）——确认低置信度预测主要不正确。这验证了包装器的实用价值：在部署设置中，标记的14%输入可路由给人工审核员或更昂贵的模型，而保留的86%可低成本地以89%准确率处理。

### 4.5标记输入的解释质量

我们使用Qwen3.5-4B和Gemma4-E4B为所有700个标记（模糊）示例生成自然语言解释。Qwen3.5在99.3%的标记案例中识别出模糊信号（讽刺、否定、模糊语言或冲突极性）；Gemma4在83.4%的案例中识别出。两个模型在83.0%的案例中对模糊信号是否存在达成一致。Qwen的高识别率和显著的模型间一致性（83%）表明标记输入确实存在语言学上的模糊性，而非随机选择的低置信度案例。代表性解释包括：“由于冲突信号导致情感不明确，评论者在使用讽刺的同时提出真实投诉，难以判断他们是在表达真正满意度还是在嘲讽酒店无法提供服务”以及“情感不明确，因为评论者将负面批评与积极的结论性陈述混合在一起。”解释生成仍是可选的后续组件；针对人类解释标注的正式评估留待未来工作。

### 4.6不确定性方法比较

表5比较了语义熵与MC-Dropout分歧作为不确定性信号的效果。

表5：不确定性信号与预测正确性在300个iSarcasm示例上的AUROC（Qwen3.5-4B，每个输入10个样本，温度0.7）。越高表示不确定性越能预测错误。注意：正确性使用代理标签（见文本）。

两种方法在讽刺文本上的AUROC均约为0.65，与短文本NLP分类报告的范围一致。在此任务和数据设置下，两种方法实际上可互换。