语音信号补充 LLM 用于预测快速约会中的人际吸引力

大语言模型 (LLM) 可以从对话记录中预测人际吸引力，但目前尚不清楚语音预测器除了仅记录 LLM 预测之外还能添加什么内容。使用日语快速约会对话，我们将仅转录的 LLM 和监督语音预测器的预测结合起来，以估计参与者报告的对其伴侣的喜好。我们证明语音可以补充仅转录本的 LLM 预测，但这种互补性是有条件的而不是普遍的。在所有评估条件下，与仅使用转录本的 LLM 相比，结合这两个预测显着提高了成对排序的准确性。相比之下，每个参与者的皮尔逊 $r$ 收益因对话轮次和评级方向而异，修正后没有显着变化。回顾起来，这些 $r$ 收益集中在语音预测器更准确的参与者中。因此，即使 LLM 预测转录本的吸引力，语音也可以保留预测价值。相关问题不仅仅是言语是否有帮助，而是言语的互补性在哪里出现。