论文
轻视后果自负:LLM 认知不对称下的务实合作斗争
Flout at Your Own Risk: LLMs Struggle with Pragmatic Cooperativity Under Epistemic Asymmetry
摘要
富有成效的合作依赖于合作沟通,包括将上下文线索纳入推理。 LLM 在协作和代理管道中的使用越来越多,引发了人们对它们在多大程度上展示这些实用功能的疑问,特别是在它们可能无法访问与协作者相同的信息的情况下。在本文中,我们对 LLM 在部分信息条件下的多方协作任务中的语用推理能力进行了新颖的研究。我们形式化了协作认知不对称的概念,该概念明确地将客观任务成功与 Grice 的合作原则联系起来,并根据经验评估了各种 LLM 作为说话者和听众合作行事的能力,包括提示和 后训练 策略。我们的结果表明,虽然 LLM 在协作环境中表现出一定的语用能力,并且这些能力可以通过提示和 后训练 来引发,但他们仍然面临着与不完整信息的语用沟通的挑战,并且某些失败模式确实与未被认识到的格莱斯格言的蔑视有关。