标签
本文探讨了在使用冻结的预训练语言模型骨干时，显式域适应方法是否对情感迁移有益，发现其有效性取决于骨干是否已经拥有目标域知识。
本文提出了MentalMARBERT，一个面向社交媒体文本中阿拉伯语心理健康障碍检测的领域自适应语言模型。该框架采用领域自适应预训练和两阶段微调方法，在新构建的包含50,670条推文的阿拉伯语心理健康数据集上实现了0.877的准确率和0.861的宏F1分数。
本文提出了一种注意力扩展机制，通过使用上下文外信息增强PLM token表示，提升长文档的关键词提取性能，在不需全文档注意力或昂贵LLM推理的情况下，持续优于最先进模型。