面向威胁主体分析的日本网络评论作者归属基础研究
摘要
这是一项将风格学作者归属技术应用于威胁情报的基础研究。我们使用日本Rakuten的评论内容,对比了TF-IDF+LR、BERT嵌入、BERT微调以及度量学习方法。总体而言,BERT-FT的表现最佳;但在将任务扩展至数百位作者的场景时,TF-IDF+LR在稳定性与效率上展现出更大优势。
arXiv:2604.16376v1 发布类型:new
摘要:本研究探讨了基于文体特征的作者归属技术在支持威胁情报主体分析方面的适用性。作为未来拓展至暗网论坛应用的基础步骤,我们利用来自明网的日本评论数据开展了实验。我们基于Rakuten Ichiba的评论内容构建了数据集,并对比了四种方法:基于逻辑回归的TF-IDF(TF-IDF+LR)、基于逻辑回归的BERT嵌入(BERT-Emb+LR)、BERT微调(BERT-FT),以及基于$k$近邻的度量学习(Metric+kNN)。结果显示,BERT-FT整体性能最优;但当作者规模扩展至数百人时,模型训练出现不稳定的情况,此时TF-IDF+LR在准确率、稳定性和计算开销方面均更具优势。此外,Top-$k$评估证明了候选筛选机制的实用性,而错误分析表明,模板化文本、对主题的依赖性以及文本过短是导致分类错误的核心因素。
相似文章
融合风格测量与嵌入系统以估计日语文本的作者身份似然比
本文将对法医作者身份鉴定中的似然比框架应用于日语文本,融合了风格测量特征与基于嵌入的系统,以提高区分度和校准性能。
基于文本的因果推断方法:解析影响在线评价评分的多维因素
本文提出了一种基于文本的因果推断方法,通过改进的 CausalBERT 模型,解析各独立维度(如学校管理、学业表现)对在线评价总体评分的影响,并在超过 60 万条美国 K-12 学校评价数据上进行了验证。主要改进包括:温度缩放、超参数优化以及可解释性方法,以减少混淆偏差。
大语言模型威胁双盲评审
本文证明,仅凭标题和摘要,大语言模型就能有效解除科学论文作者匿名,从而威胁到双盲同行评审的有效性。作者认为,问题框架和研究焦点中的稳定模式构成了作者身份的潜在概念特征,这要求我们在人工智能增强的研究生态系统中重新评估匿名实践。
虚假评论检测研究综述:从预训练语言模型到大语言模型
本文对虚假评论检测进行全面综述,分析从传统机器学习到基于大语言模型的方法演进,重点探讨信息融合与基准测试趋势。
当写作风格漂移时:基于题材、时间与AI时代分布偏移的作者验证基准评测
本文介绍了AVShift,这是首个针对题材、时间和AI时代分布偏移下的作者验证的德语基准测试。它评估了基于特征、基于嵌入和基于LLM的方法,发现时间偏移显著影响性能,而未检测到可衡量的AI时代偏移。