论文
图片:通过揭示而不是隐藏人物缺乏知识来增强《大语言模型》中的心理理论
PICTURE: Enhancing Theory-of-Mind in Large Language Models by Revealing, Not Hiding, Characters' Lack of Knowledge
摘要
模拟类人心理理论(ToM)一直是自然语言处理(NLP)中长期存在的问题。为了解决这个问题,现有的作品引入了事件隐藏的推理步骤(也称为观点采择),其中角色未知的事件在回答问题之前被删除。然而,由于事件隐藏涉及严格的输出格式限制,采用事件隐藏进行 ToM 推理会带来性能下降问题。为了缓解这个问题,我们建议在没有事件隐藏的情况下生成观点采择输出作为自由形式的解释,但这提出了一个值得注意但尚未充分探索的挑战:LLM需要抑制对角色未知事件的响应,因为缺乏事件隐藏会使LLM在整个推理过程中暴露于这些事件。为了应对这一挑战,我们假设并凭经验验证,如果角色在推理过程中明确缺乏对事件的了解,LLM 可以实现这种抑制。基于这一发现,我们引入了PICTURE,这是一种新的提示方法,使 LLM 能够在自由形式的思想链 (CoT) 中生成角色缺乏知识的情况。实验结果表明,PICTURE 在错误信念任务上比现有的提示方法平均优于 7.3%。