用词汇蕴涵解释文本蕴涵：使用LLM为形式证明提供词汇关系

大语言模型（LLM）具有很强的自然语言推理能力，并且似乎存储了大量的词汇知识，但目前还不清楚它们在推理时实际使用了多少这些知识，以及它们是否以正确的方式使用这些知识。另一方面，基于逻辑的自然语言推理（NLI）系统提供透明且有形式基础的推理，但它们需要提供丰富的词汇知识来证明超越纯逻辑推理的推理。在本文中，我们评估了LLM是否能够识别解决 NLI 问题所需的所有词汇知识，以及这些知识对基于逻辑的 NLI 系统中的证明搜索有何贡献。我们的研究专门关注结构化词汇蕴涵（例如，chinchilla$\sqsubseteq$small Animal），作为带有蕴涵标签的 NLI 问题的结构化解释的代理。首先，我们为一项用一组词汇蕴涵解释句子蕴涵的新任务整理了一个数据集。该数据集用于本质上评估LLM生成结构化词汇解释的能力。然后，我们使用 NLI 作为简单神经符号环境中的外在评估，评估LLM是否可以为 LangPro（自然语言的自然逻辑定理证明者）提供足够的词汇关系。结果表明，即使对于托管的专有LLM来说，所提出的任务仍然具有挑战性，并且它们对定理证明的贡献是中等的：生成的关系通常只是部分合理，并且可能针对特定的 NLI 问题进行定制，而不是代表普遍有效的词汇知识。