比较人类和 大语言模型 对隐式信息的解释

隐含意义的解释是人类交流的一个组成部分。但是，该框架可能无法转移到与 大语言模型 (LLM) 的交互。为了研究这个问题，我们引入了隐式信息提取（IIE）的任务，并提出了一种基于 LLM 的 IIE 管道，该管道通过提取关系三元组、验证隐式推理和分析时间关系，从上下文句子构建结构化知识图。我们根据两个数据集上的众包人类判断来评估两个 LLM。我们发现人类同意大多数模型三元组，但始终提出许多补充，这表明当前基于 LLM 的 IIE 的覆盖范围有限。此外，在我们的实验中，在社会丰富的背景下，模型对于隐含推论似乎比人类更加保守，而人类在较短的、以事实为导向的背景下变得更加保守。我们的代码可在 https://github.com/Antonio-Dee/IIE_from_LLM 获取。