学术实体关系抽取：比较LLM、LoRA与大小模型协作策略

本研究调查了大型预训练语言模型 (LLMs) 用于从学术论文中提取知识实体关系 (KERE) 的有效性。现有研究已经检查了基于 LLM 的策略的各个类型，并使用精度和召回率等指标评估了模型性能。为了提供更广泛的评估，本研究研究了多种策略，包括基于闭源 LLM 的 CoT 提示、LoRA适配的开源 LLMs、LLM 增强型小型预训练语言模型 (SLM) 和 SLM 增强型闭源 LLMs。此外，本研究引入了两种策略，即SLM增强型开源LLMs和闭源LLM增强型开源LLMs。这些策略从多个角度进行评估，包括指标、减轻 SLM 中观察到的错误的能力以及模型优化的潜在方向。本研究在 NLP 领域手动构建了两个带注释的数据集，涵盖摘要数据集和全文数据集。实验结果表明，LoRA 适配的 T5 模型在摘要和全文数据集上分别获得了最高的宏平均F1 分数，分别为 0.7408 和 0.7013。 SLM 还受益于 LLM 增强型 SLM 策略下 LLM 生成的实体描述。错误分析进一步表明，基于 LLM 的策略在减轻 SLM 错误方面的有效性因错误类型而异。基于这些策略已识别的局限性和错误模式，提出了几个优化方向。此外，将具有不同错误模式的策略相结合进一步提高了 KERE 性能。