LLM中的关系方向反转

大语言模型（LLMs）在文本到知识图谱生成和相关任务上取得了显著性能。然而，关于它们是否准确地建模逆关系的方向依赖性仍不清楚，其中改变关系中的顺序会改变其意义（例如，母亲 vs 子）。到目前为止，这项工作中首次对LLMs中的逆关系方向性进行了系统的研究，使用了一个包含5,457个实例、覆盖27个不同逆关系标签的基准数据集。我们评估了五个开源LLM在多选提示框架下的性能，并进一步通过替换原始实体与合成和掩码实体来研究关系描述和实体表示的影响。我们的发现揭示了LLMs中逆关系分类上的系统性不对称性，表明关系描述并不一致地提高性能，并且模型的表现对实体表示的变化非常敏感。