共鸣心灵：具有心理理论的闭环社交化身

创建具有真正社交智能的逼真数字人类需要在一个连贯的框架内统一认知推理和多模式生成。目前的方法将这些视为单独的任务：大语言模型 擅长对话，但缺乏具体表达，而基于扩散的头部说话模型实现了视觉保真度，但忽略了社会认知。为了弥补这一差距，我们提出了一个闭环双代理框架，将感知、社会推理和表达整合到一个连续的交互周期中。感知模块从视频中分析伴侣的多模态行为，而社交推理模块则通过心理理论推断隐藏的心理状态，并通过集成机制选择响应。然后，表达模块生成情绪可控的视频，将说话者的语音和面部表情与听众的反应行为联合合成，捕捉先前工作中缺乏的双向动态。我们进一步构建了一个分层的角色场景数据集，其中包含基于心理的角色和私人社会目标，以支持信息不对称下的评估。该数据集的实验证明了在对话质量和视频生成指标方面具有竞争力或优越的性能。值得注意的是，我们的方法在关键对话质量维度上甚至超越了全信息脚本模式，这表明不确定性下的明确心理状态推断可以比不受限制的信息访问引发更深思熟虑的对话。项目页面：https://resonantminds.github.io/。