代理人工智能的技能检索增强

随着 大语言模型 (LLM) 发展成为代理问题解决者，他们越来越依赖外部的、可重用的技能来处理超出其本地参数化能力的任务。在现有的代理系统中，合并技能的主要策略是显式枚举上下文窗口内的可用技能。然而，这种策略无法扩展：随着技能语料库的扩展，上下文预算会迅速消耗，并且代理在识别正确技能方面的准确度明显降低。为此，本文提出了技能检索增强（SRA），这是一种新的范例，在这种范例中，代理可以根据需要从大型外部技能语料库中动态检索、合并和应用相关技能。为了使这个问题变得可衡量，我们构建了一个大规模技能语料库，并引入了 SRA-Bench，这是第一个对完整 SRA 流程进行分解评估的基准，涵盖技能检索、技能合并和最终任务执行。 SRA-Bench 包含 5,400 个能力密集型测试实例和 636 个手动构建的黄金技能，这些技能与网络收集的干扰技能混合在一起，形成了包含 26,262 个技能的大规模语料库。大量实验表明，基于检索的技能增强可以显着提高代理的性能，从而验证了该范例的前景。与此同时，我们发现了技能整合方面的根本差距：当前的 LLM 代理倾向于以相似的速率加载技能，无论是否检索黄金技能或任务是否实际上需要外部功能。这表明技能增强的瓶颈不仅在于检索，还在于基础模型确定加载哪种技能以及何时实际需要外部加载的能力。这些发现将 SRA 定位为一个独特的研究问题，并为未来代理系统的可扩展功能增强奠定了基础。