Verb-ICL：重新思考结构化预测的上下文学习

摘要

结构化预测任务给上下文学习（ICL）带来了独特的挑战：它们的组合输出需要对句子级方法无法捕获的细粒度、token级模式进行建模，并且它们的特定于任务的注释约定是人类定义的工件，无法仅通过预训练获得。我们提出了 Verb-ICL，这是一种基于 ICL 的结构化预测的选择性注释框架，可以解决这两个挑战。 Verb-ICL 首先使用token级覆盖策略来选择代表性示例，该策略捕获对结构化预测至关重要的局部语义模式，然后生成可操作的错误反馈，该反馈将特定于任务的注释指南编码并将该反馈合并到 ICL 演示中。我们在六个涵盖信息提取和语义解析的结构化预测数据集上评估 Verb-ICL。最近的LLM实验表明，Verb-ICL 在低资源设置下始终优于强选择性注释基线，并且随着注释预算的增加继续提供增益。扩展分析表明，生成的反馈在四类质量分类中主要有用，可概括为超越特定实例校正的任务级指导，并且无论底层选择策略如何，都可以提高性能。

Verb-ICL：重新思考结构化预测的上下文学习的原论文方法或结果图 — 图 1：Verb-ICL 概述。在步骤 1 中，我们使用覆盖率驱动的策略来选择最能覆盖未标记池 $\mathcal{U}$ 的 $M$ 示例。在步骤2中，我们从带注释的示例中收集模型错误，并提示LLM生成文本反馈，该文本反馈作为“注释”纳入未来的演示中，以指导后续预测。