论文
关于大语言模型的 AMR 增强的（无效）有效性
On the (In)effectiveness of AMR Augmentation for Large Language Models
摘要
虽然抽象意义表示 (AMR) 历来提高了一系列 NLP 任务的性能，但 AMR 增强对现代大语言模型的好处（或缺乏）目前尚不清楚。在本文中，我们尝试重现最近的工作，这些工作报告了 AMR 增强带来的大量下游收益，发现这些收益可能是由于所使用的实验设置中的特定选择造成的：使用一致且统一的协议进行超参数选择，我们观察到纯文本基线始终匹配或超过 AMR 增强模型的性能。为了研究这个无效结果，我们引入了一种基于困惑的探针，测量 AMR 为大语言模型提供模型尚未提供的补充关系知识的程度。我们发现 AMR 增强并不能帮助大语言模型提高对句子中关系内容的理解，这表明用 AMR 增强这些模型对下游任务没有明显的好处。