基于LLM的虚拟人言语与非言语不一致行为选择

虚拟代理的非言语行为生成系统通常以一段话语为输入，生成强调或图示言语内容的非言语行为。然而，人类的非言语行为并不只由言语内容塑造。它还受说话者角色、人际关系、社会情境以及交互双方认知与情绪状态的影响。因此，非言语通道可能强化、削弱、限定甚至与言语通道相矛盾。它还可能揭示在言语中隐藏或仅被间接暗示的内部状态，包括可能与当前交互并无必然关联的情绪“泄露”。对言语与非言语行为之间这种更丰富的关系建模，对于设计展现真实、类人行为的虚拟代理十分重要。在需要细致社会解读的训练场景中尤为关键，例如涉及虚拟病人的咨询模拟。借鉴Ekman的言语-非言语关系框架，我们提出了一个言语与非言语行为可能发生不匹配的类别分类体系。随后我们考察了用大语言模型实现这些行为的若干途径，重点研究LLM能否在给定对话与社会交互情境下从备选中选出情境恰当的不匹配言语与非言语行为。最后，我们通过人类被试实验评估这些行为，检验由情境驱动的非言语行为在虚拟人身上呈现时，是否对观察者产生预期效果。