通过隐含识别和取消评估 大语言模型 中的交际信念更新

人类语言是由不言而喻的信念和信念更新驱动的，这使得这些对于 大语言模型 (LLM) 与其用户之间成功沟通的模型至关重要。在本文中，我们评估了 LLM 识别通过含义产生的未说出的信念并通过含义消除理解其更新的能力：削弱或否定话语的隐含意义的语用现象。我们创建了第一个专家注释的含义消除数据集 ImplicatureX，众包用于人类对含义及其相应消除的判断。我们发现 LLM 信念更新理解落后于人类，尤其是在更自然发生的场景中。其他控制实验表明，LLM 信念更新的成功可能部分源于对先前信念的依赖，而信念更新的失败可能取决于其类型和形式。总体而言，我们的研究表明，当前的 LLM 尚未达到人类对不言而喻的信念和信念更新的理解。代码和数据可在 https://github.com/cesare-spinoso/ImplicatureX 获取。