论文

只需通过两次:使用 LLM 进行零样本 NER 的高效标记分类

Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER

模型推理推理策略与问题分解

摘要

大语言模型 编码对于零样本命名实体识别有价值的广泛世界知识。然而,他们的因果注意机制(其中标记仅关注先前的上下文)在消歧需要未来上下文时阻止了有效的标记分类。现有方法使用 LLM 生成,提示它们列出实体或生成结构化输出,但会遇到自回归解码缓慢、实体幻觉和格式错误的问题。我们提出 Just Pass Twice (JPT),这是一种简单而有效的方法,使因果 LLM 能够在完整的双向上下文中执行判别性标记分类。我们的主要见解是,将输入连接到自身可以让第二遍中的每个标记处理完整的句子,而不需要进行架构修改。我们将这些表示与定义引导的实体嵌入相结合,以实现灵活的零样本泛化。我们的方法在零样本 NER 基准测试中取得了最先进的结果,在 CrossNER 和 MIT 基准测试中平均比之前的最佳方法高出了 +7.9 F1,比同类生成方法快了 20 倍以上。交互式演示和模型访问请访问 https://witness-ai-jpt-ner.hf.space/