PhySE：面向实时AR-LLM社会工程攻击的心理学框架

基于AR-LLM的社会工程（Social Engineering, SE）攻击（如SEAR）这一新兴威胁对现实世界的社交互动构成重大风险。在此类攻击中，恶意行为者使用增强现实（AR）眼镜捕捉目标的视觉与语音数据。大语言模型（LLM）随后分析这些数据以识别个人并生成详细的社交画像。接着，由LLM驱动的智能体运用社会工程策略、提供实时对话建议，以获取目标信任并最终实施钓鱼或其他恶意行为。尽管潜力可观，AR-LLM-SE的实际应用面临两大瓶颈：(1) 冷启动个性化——现有检索增强生成（RAG）方法在最初始的对话轮次引入关键延迟，拖慢画像的初始构建并干扰实时交互；(2) 静态攻击策略——现有方法依赖固定阶段、手工设计的社会工程战术，缺乏既有心理学理论基础。为解决这些局限，我们提出PhySE，一个包含两项核心创新的新框架：(1) 基于VLM的社交上下文训练——为消除画像延迟，我们用社交上下文数据高效预训练一个视觉语言模型（VLM），实现快速、即时的画像生成；(2) 自适应心理智能体——我们引入一个心理学LLM，根据目标回应动态部署不同类别的心理策略，超越静态的手工脚本。我们通过一项经IRB批准、有60名参与者参与的用户研究评估PhySE，收集了一个涵盖多样社交场景、包含360段标注对话的新数据集。