揭示 大语言模型 在从非语言响应推断语用意义方面的局限性

尽管大语言模型（LLM）在语用语言理解方面取得了相当大的进步，但先前的研究主要集中在它们对言语行为的理解上。尽管如此，非语言行为仍然是人类交流的基本组成部分，特别是当故意单独使用来传达间接含义时。在这项工作中，我们对 LLM 在仅由非语言反应组成的对话中推断语用意义的能力进行了首次系统评估。我们探讨三个研究问题：（1）LLM 能否识别通过非语言反应传达的间接意图？ (2) LLM 何时以及如何未能捕获非语言意图？ (3)如何提高LLM解释非语言意图的能力？通过评估，我们观察到 LLM 很难从非语言反应中推断出潜在含义，与口头反应相比，准确度下降了多达 60%。进一步的广泛分析揭示了 LLM 对非语言行为的解释中的行为模式，并证明情境学习有助于语用推理。