标签
本文研究了由自我与他者标签在LLM评审中引发的双向偏见,表明仅标签就能改变评估分数,无论实际来源如何,这对理解作者归属和受控评估任务有贡献。
本文证明,仅凭标题和摘要,大语言模型就能有效解除科学论文作者匿名,从而威胁到双盲同行评审的有效性。作者认为,问题框架和研究焦点中的稳定模式构成了作者身份的潜在概念特征,这要求我们在人工智能增强的研究生态系统中重新评估匿名实践。
提出CHiPS,一种轻量级的字符级作者归属方法,适用于罗马尼亚语文本,采用字符直方图和位置信号,无需分词或预训练语言模型,在封闭集基准测试中达到0.9310准确率。
文章认为,大型语言模型(LLMs)通过分析写作风格,越来越能够将化名身份关联起来,并预测未来所有高带宽交互都会留下可追踪的独特指纹。
本文将对法医作者身份鉴定中的似然比框架应用于日语文本,融合了风格测量特征与基于嵌入的系统,以提高区分度和校准性能。
介绍READER,一种用于动态黑盒LLM溯源的轻量级框架,它利用冻结的代理LLM从回复中提取作者身份证据,并在多次查询中进行贝叶斯证据累积,在Agent500数据集上实现了高精度。
介绍PromptPrint,一项系统性研究,表明用户在LLM提示中的习惯性词汇和句法构成可学习的行为生物特征,词汇特征优于语义编码器,并揭示了独特性-一致性悖论。
Sem-Detect 提出了一种结合文本特征与声明级语义分析的方法,用于区分AI生成的同行评审与人类撰写的评审。在0.1%假阳性率下,其真阳性率相比基线提升了25.5%,并且表明经过大语言模型润色的人类评审仍保留独特的语义信号,仅有不到3.5%被误判为AI生成。
本文通过机械可解释性解释了为什么使用相同编码器、数据和损失微调的作者身份归属模型,其性能可能因评分机制不同而相差四倍。研究发现,评分器决定了编码器在何处整合作者身份信号:平均池化迫使早期整合,而延迟交互则允许后期整合。
EditLens是一个回归模型,用于量化文本中AI编辑的程度,在区分人类、AI及混合写作的二元和三元分类任务上达到了最先进的性能。它弥补了检测AI编辑文本而非完全AI生成文本的空白,对作者归属、教育和政策具有重要意义。
这是一项将风格学作者归属技术应用于威胁情报的基础研究。我们使用日本Rakuten的评论内容,对比了TF-IDF+LR、BERT嵌入、BERT微调以及度量学习方法。总体而言,BERT-FT的表现最佳;但在将任务扩展至数百位作者的场景时,TF-IDF+LR在稳定性与效率上展现出更大优势。