psytechlab 在 CLPsych 2026：利用自然语言处理方法和大型语言模型进行社交媒体文本分析

# psytechlab 在 CLPsych 2026 中的应用：利用自然语言处理方法和大语言模型进行社交媒体文本分析  
来源：https://arxiv.org/html/2607.03003  

**Igor Buyanov**  
Psytechlab  
[email protected]  

**Nafisa Valieva**  
Psytechlab  
[email protected]  

**Ekaterina Mazurina**  
Psytechlab  
[email protected]  

###### 摘要  

社交媒体帖子是利用自动分析工具分析心理健康状态和用户福祉的丰富而有价值的数据来源。在这项工作中，我们展示了如何使用一系列自然语言处理（NLP）方法，包括长短期记忆网络（LSTM）、基于BERT的模型和大语言模型（LLM），在 CLPsych 2026 共享任务中进行自我状态与福祉分析及摘要生成。我们的方法在摘要任务中取得了一致性和矛盾性分数最佳之一，并在其他任务中获得了中等水平的结果。通过测试和开发此类心理健康状态评估系统，我们为改进心理健康支持系统做出了贡献。我们的代码已公开¹¹¹https://github.com/psytechlab/CLPsych2026/。  

psytechlab 在 CLPsych 2026 中的应用：利用自然语言处理方法和大语言模型进行社交媒体文本分析  

Igor Buyanov  
Psytechlab  
[email protected]  

Nafisa Valieva  
Psytechlab  
[email protected]  

Ekaterina Mazurina  
Psytechlab  
[email protected]  

## 1 引言  

当今，心理健康问题已被公认为重大议题。WHO 统计数据显示，超过 10 亿人患有心理健康障碍，相当于全球每 7 人中就有 1 人受到影响 (WHO, 2025 (https://arxiv.org/html/2607.03003#bib.bib1))。这些统计数据引起了众多科学领域研究者的关注，以应对这些问题。特别是，AI 研究者正积极探索开发用于诊断和治疗目的的自动化工具，以满足这一需求。迄今为止，研究者已在多种心理障碍的诊断方面取得了显著成功，从抑郁和焦虑到双相情感障碍和精神分裂症。主要数据来源是社交媒体，如 Reddit²²²https://www.reddit.com/、X³³³https://x.com/ 以及其他平台。这些平台允许用户讨论众多话题，包括他们的心理状态。研究者利用这一事实，将特定用户的文本产出与其自我报告的心理状态联系起来。在这些数据集上，可以应用机器学习技术来揭示各种语言模式。经过训练的此类模型可以通过用户产生的数据大规模识别有心理健康问题的用户，从而实现有针对性的帮助。此外，LLM 不断增强的能力可以帮助研究者和从业者在推理和分析数据方面取得显著成果，从文本数据中洞察个体的心理状态。  

不幸的是，上述方法也存在缺点。首先是潜在的标签噪声，因为研究者仅依赖用户提供的信息，这些信息无法可靠地确认。另一方面，收集临床可靠的标注数据会增加成本并带来伦理挑战。第二个缺点是研究者必须将所有用户数据与一个单一的静态标签关联。实际上，心理状态具有动态性，许多心理问题在其变化中才能更好地理解其严重程度。该缺点的另一方面是，并非所有内容在诊断意义上都真正有意义，因为社交媒体平台主要用于其他目的。  

幸运的是，CLPsych 2026 共享任务 (Ali 等人, 2026 (https://arxiv.org/html/2607.03003#bib.bib5)) 为研究者提供了在无上述缺点的情况下使用数据集的机会。具体来说，组织者提出了三个具有挑战性的任务：适应性与不适应的 ABCD 元素预测、变化时刻 (MoC) 识别，以及时间线变化摘要。提供的数据集由用户的帖子时间序列组成，并采用 MIND 框架 (Atzil-Slonim, 2025 (https://arxiv.org/html/2607.03003#bib.bib7)) 进行专业标注，该概念模型将人类体验表示为持续演变的自我状态系列。在本文中，我们将描述 psytechlab 团队解决该任务的系统。简而言之，我们的系统结合了多种方法和模型。在共享任务结束时，我们的方法几乎击败了所有基线，但仍远非最佳解决方案。我们使用的所有提示词可在附录 B (https://arxiv.org/html/2607.03003#A2) 中找到。  

## 2 方法  

| 任务 | 指标 | 分数 | 排名 |
|------|------|------|------|
| 任务 1.1 | 平均子元素 Macro F1 | 0.274 | 12 (17) |
| 任务 1.2 | 平均 RMSE（不适应的 + 适应的） | 1.407 | 15 (17) |
| 任务 2 | 综合（帖子/时间线）Macro F1 | 0.372 | 15 (18) |
| 任务 3.1 | 分数排名均值 | 7.38 | 13 (18) |
| 任务 3.2 改善 | 总分 | 0.5445 | 9 (18) |
| 任务 3.2 恶化 | 总分 | 0.4916 | 9 (18) |

表 1：CLPsych 2026 共享任务的整体结果与排名。总体排名范围显示在括号中。  

### 2.1 任务 1  

该任务的目标是双重的：预测主要的 ABCD 子元素和自我状态构成，并估计 1-5 等级的存在值，指示帖子中自我状态的表达程度。ABCD 分别代表：  

- **情感 (A)**：情绪基调或心情。  
- **行为 (B)**，分为指向自我 (B-S) 和指向他人 (B-O)：指向内部或外部的行动或倾向。  
- **认知 (C)**，分为指向自我 (C-S) 和指向他人 (C-O)：信念、解释和评价。  
- **欲望 (D)**：动机、需求、愿望和期望。  

**任务 1 的指标。** 任务 1 的结果按多个方面评分；这里我们仅提供用于排名的指标：(1) 计算每个元素的 F1，(2) 在每个效价内对 6 个元素进行 Macro 平均，(3) 适应性和不适应 Macro F1 的平均值。任务 2 的评分指标为 MAE、RMSE、二次加权 Kappa (QWK) 和 Spearman 相关性。最终排名是每个效价 RMSE 的均值。  

**提交 1。** 我们针对该任务采用流水线方法。首先，将帖子拆分为句子。然后，将每个句子分类为某个子元素或无关类别。最后，聚合句子预测以确定最主导的子元素，使用基于子元素的特定权重（这些权重通过计算源数据集中每个子元素的存在比例获得）。有了子元素后，我们可以直接映射到状态和效价。我们训练了一个分类器来预测所有存在的子元素。由于训练数据不足，我们采用了两种策略来扩充数据集。第一种是将 Buyanov 等人 (2025 (https://arxiv.org/html/2607.03003#bib.bib11)) 数据集的一部分进行翻译，其中一些类别在语义上与子元素对齐。第二种是直接使用本地 Qwen3.5-35B-A3B (Team, 2026 (https://arxiv.org/html/2607.03003#bib.bib12)) 模型，使用 8-shot 提示并以证据作为示例生成数据。我们为每个类别生成了 500 条文本。然后将所有数据合并到单个数据集中，并划分为训练集和测试集。我们实验了 BERT (Devlin 等人, 2019 (https://arxiv.org/html/2607.03003#bib.bib13)) 和 ModernBERT (Warner 等人, 2024 (https://arxiv.org/html/2607.03003#bib.bib14))，它们表现出相近的性能：BERT 的 F1 macro 为 0.79，ModernBERT 为 0.80。关于聚合方案，为了获得权重，我们将所有训练文本拆分为句子，如果句子与证据重叠，则为其分配一个子元素，并标注某段帖子文本中的特定子元素。如果句子不与任何证据重叠，则标记为无关。接下来，我们计算按效价和状态分组的子元素比例。无关类别被分配所有权重中的最小值。在推理时，我们获得每个句子的预测，并将所有预测子元素和无关类别的权重相加。然后，按效价和状态分组的子元素权重取最大值聚合。此时，每个效价有两个主导子元素。最后，如果子元素的累积权重低于无关累积权重，则将其排除。为了估计每个效价的存在值，我们使用 ModernBERT 的回归模式，并在可用数据上进行训练。得益于 ModernBERT 的宽上下文长度，我们可以使用整个帖子文本。我们借鉴了之前 CLPsych 共享任务解决方案 (Chakraborty 等人, 2025 (https://arxiv.org/html/2607.03003#bib.bib15)) 的思路，该方法已被证明有前景。  

**提交 2。** 这里我们提示本地 Qwen3.5-35B-A3B 模型来解决该任务，并提供子元素的名称。我们使用相同的 ModernBERT 模型来估计效价存在值。  

### 2.2 任务 2  

在任务 2 中，参与者获得一组按时间顺序排列的帖子序列，需要检测每个帖子时间线中的 **Switch** 或 **Escalation**。  

**任务 2 的指标。** Switch 和 Escalation 标签作为独立的二分类任务进行评估。在帖子级别评估中，每个标签的精确率、召回率和 F1 分数在所有帖子中汇总。在时间线级别评估中，每个标签的精确率、召回率和 F1 分数在所有时间线上进行 Macro 平均。  

**提交 1。** 为了获得帖子表示，我们将帖子文本拆分为句子，并组合来自 MiniLM-L6-v2 (Reimers and Gurevych, 2019 (https://arxiv.org/html/2607.03003#bib.bib16)) 的嵌入，然后连接来自多个模型的概率向量（如 Bayram 和 Benhiba (2022 (https://arxiv.org/html/2607.03003#bib.bib10)) 所做）：BERTweet Sentiment (Pérez 等人, 2021 (https://arxiv.org/html/2607.03003#bib.bib17))、EmoRoBERTa (Ghoshal, 2022 (https://arxiv.org/html/2607.03003#bib.bib18)) 和 twitter-roberta-emotion (Barbieri 等人, 2020 (https://arxiv.org/html/2607.03003#bib.bib19))。然后对句子向量进行平均以获得最终的帖子文本表示。接下来，我们使用 BiLSTM (Lample 等人, 2016 (https://arxiv.org/html/2607.03003#bib.bib20)) 模型分别预测 Switch 和 Escalation。为了获得最优超参数，我们使用 Optuna (Akiba 等人, 2019 (https://arxiv.org/html/2607.03003#bib.bib21)) 进行优化。  

**提交 2。** 架构与提交 1 相同。区别在于特征集，增加了帖子的时间特征。  

**额外提交。** 这里我们主要实验 Tempoformer 模型 (Tseriotou 等人, 2024 (https://arxiv.org/html/2607.03003#bib.bib3))，并以此提交了三个方案。我们实验的另一个模型是 HoRoBERT (Hills 等人, 2024 (https://arxiv.org/html/2607.03003#bib.bib4))。  

### 2.3 任务 3  

在任务 3.1 中，参与者必须生成时间线级别的摘要，描述在围绕变化事件（Switch/Escalation）的帖子序列中自我状态动态及其随时间的进展模式。任务 3.2 的目标是识别和总结在多个序列中重复出现的恶化或改善的递归动态模式。  

**任务 3.1 的指标。**  

- **矛盾性分数**：对于每个预测句子，计算其与所有金标准摘要句子的平均 NLI（自然语言推理）矛盾概率，然后在预测句子和序列中取最大值。  
- **一致性分数**：等于 `1 - mean_contradiction`。  
- **Rouge-L Recall** (Lin, 2004 (https://arxiv.org/html/2607.03003#bib.bib23)) 用于衡量时序词汇覆盖率，以及 **BERTScore Recall** (Zhang 等人, 2020 (https://arxiv.org/html/2607.03003#bib.bib22)) 用于语义内容覆盖率。  

**任务 3.2 的指标。** 任务 3.2 的结果由人工根据以下标准评估：  

- **证据支持拟合度**：评估提出的模式是否得到作为证据提交的序列的良好支持。  
- **重复性分数**：评估提出的模式在序列中的重复程度。  
- **特异性分数**：评估提出的模式的特异性和非泛化程度。  

该任务的总分使用公式 `0.5 * Fit + 0.5 * HarmonicMean(Recurrence, Specificity)` 计算。  

**提交 1。** 我们使用零样本提示来提示 Qwen3.5-35B-A3B 模型以总结帖子时间线（未使用任务 1 和任务 2 的预测），但在系统指令中我们提供了 MIND 框架的描述。  

**提交 2。** 首先，我们使用任务 1 的预测和少量示例提示，利用 Qwen3.5-35B-A3B 模型对时间线中的每个帖子生成中间摘要。然后，利用每个帖子在时间线中的中间摘要，再次使用少量示例提示和 Qwen3.5-35B-A3B 模型获得时间线的完整摘要。  

**提交 3。** 我们使用了 Sandu 等人 (2025 (https://arxiv.org/html/2607.03003#bib.bib2)) 在 CLPsych 2025 共享任务 (Tseriotou 等人, 2025 (https://arxiv.org/html/2607.03003#bib.bib6)) 中时间线摘要最佳提交的默认提示。模型指令缺少概念解释或支持时间线级别摘要的额外上下文。我们对该任务还使用了 Llama-3.2-3B-Instruct (AI, 2024 (https://arxiv.org/html/2607.03003#bib.bib24)) 模型。  

**额外提交。** 设置与提交 3 相同，但使用 Qwen3.5-35B-A3B 模型替代 Llama-3.2-3B-Instruct。对于任务 3.2，我们使用了 Llama-3.2-3B-Instruct 模型。首先，指示 LLM 检测每个时间线中福祉变化的方向（恶化、改善、混合或中性）。之后，指示 LLM 检测 ABCD 元素（无子元素）并分配自我状态标签（适应性的或不适应的）。然后，我们获得每个 ABCD 元素类型中适应性和不适应状态的数量统计，以及不同福祉变化类型中每种自我状态的比例。接着，根据每个帖子中适应性和不适应状态的数量，在时间线中找到 CE（变化事件）索引。最后，使用 LLM 获得具有改善和恶化变化类型的时间线示例的摘要。  

## 3 结果与分析  

整体结果如表 1 (https://arxiv.org/html/2607.03003#S2.T1) 所示。每个任务的提交结果见附录 A (https://arxiv.org/html/2607.03003#A1) 中的表 2 (https://arxiv.org/html/2607.03003#A1.T2)、表 3 (https://arxiv.org/html/2607.03003#A1.T3)、表 4 (https://arxiv.org/html/2607.03003#A1.T4)、表 5 (https://arxiv.org/html/2607.03003#A1.T5)、表 6 (https://arxiv.org/html/2607.03003#A1.T6)。我们的系统在任务 2 上优于除 Tempoformer 外的所有基线，但其排名处于较低的中等水平。在此，我们进行分析以确定潜在原因。  

对于任务 1.1，主要问题是长文本，其中可能包含多个子元素。我们将文本拆分为句子并聚合结果，但分类器尽管整体指标良好，但在识别无关类别方面表现不佳。由于无关句子远多于相关句子，对其识别不良导致聚合步骤中产生大量噪声。原因是无关类别不受任何规则限制，因此该类别的潜在数量巨大。如果无关类别没有足够的负例（其中出现与相关类别相似但仅是相似的模式），模型将在此类文本上做出误报预测。证据是混淆矩阵显示，无关类别与 32 个子元素中的 23 个混淆（大多在 1% 到 5% 之间），其中与“关系行为”子元素混淆的有 11 个。任务 1.1 的糟糕结果影响了任务 1.2，因为