论文

URA-NER:一种统一的检索增强框架,具有检索对齐和减少低资源 NER 不确定性的功能

URA-NER: A Unified Retrieval-Augmented Framework with Retrieval Alignment and Uncertainty Reduction for Low-Resource NER

上下文与知识检索增强

摘要

基于大型语言模型 (LLM) 的上下文学习 (ICL) 在缓解命名实体识别 (NER) 中注释数据有限而造成的性能瓶颈方面显示出了巨大的潜力。然而,现有方法仍然面临检索错位和生成不确定性的问题,使其性能严重依赖于大语言模型的能力。随着 LLM 参数规模的减小,它们在小样本设置中的性能显着恶化。在本文中,我们提出了一种新颖的统一检索增强框架 URA-NER,包括三个关键组件:渐进粒度检索(PGR)、模型感知表示增强(MaRE)和理性感知知识验证。 PGR 是一种实现阶段对齐的两阶段检索机制。它首先根据查询的全局语义检索跨度检测的演示,然后根据特定实体上下文进行类型分类,提供细粒度的本地信息。此外,MaRE 采用实体预识别来指导表示的构建,确保查询和演示在 LLM 的语义空间和注意力模式内保持一致。此外,为了减轻生成不确定性,我们提出了RaKV,一种闭环“生成-检索-验证”过程。它阐明了LLM的推理路径,利用它们来检索外部知识,并将知识重新组织成与原始推理路径一致的验证证据。我们对多个低资源 NER 数据集进行了广泛的实验。结果表明,URA-NER 显着提高了资源匮乏环境下大语言模型的表现,尤其是规模较小的大语言模型,其收益尤其显着,在多个基准上取得了新的最先进的结果。