自动指令修订 (AIR)：LLM 任务适应策略的结构化比较

本文研究了自动指令修订 (AIR)，这是一种基于规则归纳的方法，用于使用有限的特定于任务的示例使 大语言模型 (LLM) 适应下游任务。我们将 AIR 定位在更广泛的适应策略中，包括即时优化、基于检索的方法和 微调。然后，我们在不同的基准套件中比较这些方法，这些基准套件旨在强调不同的任务要求，例如知识注入、结构化提取、标签重新映射和逻辑推理。该论文认为，适应表现强烈依赖于任务：没有一种方法可以在所有设置中占主导地位。在五个基准测试中，AIR 在标签重新映射分类方面表现最强或接近最佳，而 KNN 检索在闭卷 QA 上表现最佳，而 微调 主导了结构化提取和事件顺序推理。当任务行为可以通过紧凑的、可解释的指令规则捕获时，AIR 是最有前途的，而检索和 微调 在由特定源知识或特定数据集注释规则主导的任务中仍然更强。