PreScam: 一个用于从早期对话预测骗局演进的基准测试

Hugging Face Daily Papers 论文

摘要

PreScam 是一个用于建模多轮对话中骗局演进的基准测试,基于真实世界的骗局报告构建。它包含实时终止预测和诈骗者行为预测等任务,发现监督式编码器的表现优于零样本大语言模型。

对话式骗局,如情感诈骗和投资诈骗,正成为一种主要的在线欺诈形式。与虚假彩票或未付通行费短信等一次性骗局诱饵不同,它们通过多轮对话逐步展开,诈骗者利用不断演变的心理技巧逐渐操纵受害者。然而,现有研究主要集中在静态骗局检测或合成骗局上,尚不清楚语言模型能否理解真实世界骗局随时间推移的演进过程。我们引入了 PreScam,一个用于从早期对话建模骗局演进的基准测试。基于用户提交的骗局报告,PreScam 从 177,989 条原始报告中筛选并构建了 11,573 个对话式骗局实例,涵盖 20 个骗局类别。每个实例根据所提出的骗局杀伤链定义的骗局生命周期进行层次化结构组织,并在轮次级别进一步标注了骗局者的心理行为和受害者的回应。我们在两个任务上评估模型:实时终止预测,用于估计对话是否接近终止阶段;以及骗局者行为预测,用于预测骗局者接下来的行动。结果显示,表面流畅度与演进建模之间存在明显差距:监督式编码器在实时终止预测上显著优于零样本大语言模型,而即使是强大的大语言模型,下一步行动预测的成功率也仅为中等水平。综合来看,这些结果表明,当前模型能够捕捉一些骗局相关线索,但在跟踪风险如何升级以及操纵如何跨轮次展开方面仍存在困难。
查看原文
查看缓存全文

缓存时间: 2026/05/15 16:26

论文页面 - PreScam:用于从早期对话预测诈骗演变的基准

来源:https://huggingface.co/papers/2605.12243

摘要

PreScam基准通过根据诈骗杀伤链对真实世界报告进行结构化,并标注心理行动和受害者回应,实现了通过多轮对话对诈骗演变进行建模。

对话式诈骗,如情感诈骗和投资诈骗,正成为一种主要的在线欺诈形式。与一次性诈骗诱饵(如虚假彩票或未付通行费消息)不同,它们通过多轮对话展开,诈骗者利用不断演变的心理技巧逐步操纵受害者。然而,现有研究主要集中在静态诈骗检测或合成诈骗上,尚未明确语言模型能否理解真实世界诈骗如何随时间演变。我们推出了PreScam,这是一个用于从早期对话建模诈骗演变的基准。基于用户提交的诈骗报告,PreScam从177,989条原始报告中过滤并结构化为11,573个对话式诈骗实例,涵盖20个诈骗类别。每个实例根据提出的诈骗杀伤链所定义的诈骗生命周期进行分层结构,并在轮次层面进一步标注了诈骗者的心理行动和受害者回应。我们在两个任务上对模型进行了基准测试:实时终止预测(估计对话是否接近终止阶段)和诈骗者行动预测(预测诈骗者的后续行动)。结果显示,表面流利性与演变建模之间存在明显差距:监督式编码器在实时终止预测上显著优于零样本LLM,而即使是强LLM,在下一个行动预测上也仅取得中等成功。综合来看,这些结果表明当前模型能够捕捉一些与诈骗相关的线索,但在追踪风险如何升级以及操纵如何在多轮中展开方面仍然存在困难。

查看arXiv页面 (https://arxiv.org/abs/2605.12243)查看PDF (https://arxiv.org/pdf/2605.12243)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.12243)

在你的agent中获取此论文:

hf papers read 2605.12243

还没有最新的CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

请在模型README.md中引用arxiv.org/abs/2605.12243,以从此页面链接它。

引用此论文的数据集0

没有数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2605.12243,以从此页面链接它。

引用此论文的Space0

没有Space链接此论文

请在Space README.md中引用arxiv.org/abs/2605.12243,以从此页面链接它。

包含此论文的集合0

没有集合包含此论文

请将此论文添加到集合 (https://huggingface.co/new-collection)中,以从此页面链接它。

相似文章

PreAct-Bench: 对LLM进行预测性监控的基准测试

arXiv cs.LG

PreAct-Bench是一个包含五个领域、1000对道德与不道德行动轨迹的基准测试,旨在评估LLM从部分轨迹中预测有害结果的能力(预测性监控)。结果表明,虽然人类表现良好,但当前的LLM仍存在困难,凸显了未来导向的风险推理的必要性。

PromptScout

Product Hunt

PromptScout 是一款追踪品牌在各种AI模型中被提及情况的工具,帮助企业监控其可见度。