沙丘社区
论文

SCRIPTMIND：面向基于LLM的社会工程诈骗检测的犯罪剧本推断与认知评估

SCRIPTMIND: Crime Script Inference and Cognitive Evaluation for LLM-based Social Engineering Scam Detection System

Heedou Kim, Changsik Kim, Sanghwa Shin, Jaewoo Kang
模型训练监督微调与指令调优

摘要

社会工程诈骗日益采用个性化、多轮欺骗，暴露了传统检测方法的局限。尽管大语言模型（LLM）在识别欺骗方面显示出前景，其认知辅助潜力仍未被充分探索。我们提出 ScriptMind，一个连接自动化推理与人类认知的基于 LLM 的诈骗检测集成框架。它包含三个组件：用于诈骗推理的犯罪剧本推断任务（CSIT）、用于微调小 LLM 的犯罪剧本感知推断数据集（CSID），以及用于评估实时认知影响的社会工程防御认知仿真评估（CSED）。利用 571 个韩国电话诈骗案例，我们构建了 22,712 个结构化骗子序列训练实例。实验结果表明，用 ScriptMind 微调的 11B 小 LLM 超过 GPT-4o 达 13%，在检测准确率、误报减少、骗子话语预测与理由质量上均优于商业模型。此外，在电话诈骗仿真实验中，它显著增强并维持了用户的怀疑水平，提升了其对诈骗的认知意识。ScriptMind 代表了迈向以人为中心、认知自适应的诈骗防御 LLM 的一步。

SCRIPTMIND：面向基于LLM的社会工程诈骗检测的犯罪剧本推断与认知评估
图2：ScriptMind 的独特之处在于对那些在诈骗交互过程中诱发并强化用户怀疑的任务进行建模和评估。与以往主要基于准确率评估模型的研究（Koide et al. (2024) ；Lee et al. (2024) ；Shen et al. (2025) ）不同，我们设计了一个框架，训练 LLM 预测诈骗者下一个按剧本执行的动作，并评估此类预测能否在现实诈骗情境中切实增强用户的怀疑。