超越相似性：语言模型的任务对齐检索

检索增强生成（RAG）根据与输入的语义相似性对段落进行排名，隐含地假设语义相似性是下游任务适用性的可靠指示。当任务的成功不取决于主题相关性而是取决于应用正确的规则、约束或程序指导时，这种假设就站不住脚了。在这样的设置中，最有用的上下文可能是由输入触发的规则，而不是语义上最相似的段落。我们提出了任务对齐检索（TAG），这是一种检索框架，用基于适用性的规则选择代替基于相似性的检索。 TAG 将源文档转换为可追踪的条件-动作规则，通过成对的 LLM 判断来识别哪些规则适用于给定的输入，并生成仅以所选动作为条件的输出。我们凭经验观察到，在 Wikipedia NPOV 重写、符合 PEP~8 的 HumanEval 以及 RuleArena 上的 NBA 事务推理中，TAG 始终优于标准 RAG，在高不匹配设置中收益最大（高达 12.2%），同时将检索到的上下文减少高达 93%。这些结果表明，在规则和指令管理的任务中，检索应该针对适用性而不是仅仅针对语义相似性进行优化。