迈向社交互动代理中的信任校准：使用 LLM 研究性别多模态行为的生成

随着社交互动代理（SIA）越来越多地融入日常生活，根据代理的实际能力调整用户信任的能力将有助于确保这些代理的正确使用。在本文中，我们探讨了 大语言模型 (LLM) 生成多模态行为（言语、声音、手势和面部表情模态）的能力，这些行为反映了不同水平的能力和仁慈，这是可信度的两个关键维度。我们提出了一种新方法，可以自动生成与这些特征的特定水平相一致的行为，这是实现细致入微且经过信任校准的交互的第一步。通过分析 LLM 生成的大型多模态转录本数据集，我们证明 GPT-5.4 能够跨不同模态（文本、语调、面部表情和手势）产生连贯的行为。使用随机森林特征重要性分析，我们表明生成的行为与能力和仁慈的理论期望一致。然而，我们还发现，当提示中指定性别时，LLM 倾向于重现社会性别刻板印象，将男性代理人的行为与高能力联系起来，将女性代理人的行为与高仁慈联系起来。为了验证我们的方法，我们使用受试者内设计对 Prolific 进行了用户研究。参与者在所产生的行为中感知到不同程度的能力和仁慈，与预期的指令一致。