PreScam：从早期对话预测诈骗进展的基准

会话诈骗，例如爱情诈骗和投资诈骗，正在成为网络诈骗的主要形式。与假彩票或未付通行费信息等一次性诈骗诱惑不同，它们是通过多轮对话展开的，诈骗者利用不断发展的心理技术逐渐操纵受害者。然而，现有的研究主要集中在静态骗局检测或合成骗局上，语言模型是否能够理解现实世界的骗局如何随着时间的推移而发展仍是一个悬而未决的问题。我们推出 PreScam，这是一个从早期对话中对诈骗进展进行建模的基准。 PreScam 根据用户提交的诈骗报告构建，将 177,989 份原始报告过滤并构建为涵盖 20 个诈骗类别的 11,573 个会话诈骗实例。每个实例都根据拟定的诈骗杀伤链定义的诈骗生命周期进行分层结构，并在回合级别进一步注释诈骗者的心理行为和受害者的反应。我们对两项任务的模型进行基准测试：实时终止预测（估计对话是否接近终止阶段）和诈骗者行动预测（预测诈骗者的后续行动）。结果显示，表面流畅度和进展建模之间存在明显差距：监督编码器在实时终止预测方面远远优于零样本 LLM，而即使对于强大的 LLM，下一步动作预测也只能取得一定的成功。总而言之，这些结果表明，当前的模型可以捕获一些与诈骗相关的线索，但仍然难以跟踪风险如何升级以及操纵如何跨轮展开。