SkillGraph：通过不断发展的技能图对智能体进行技能增强强化学习

技能库使 大语言模型 代理能够重用过去交互的经验，但大多数现有库将技能存储为孤立的条目，并且仅通过语义相似性来检索它们。这给组合任务带来了两个关键挑战。首先，代理人不仅必须确定相关技能，还必须确定它们如何相互依赖和建立。其次，它也使库维护变得困难，因为系统缺乏决定何时应该合并、拆分或删除技能的结构线索。我们提出了 SKILLGRAPH，一个将可重用技能表示为有向图中的节点的框架，具有编码先决条件、增强和共现关系的类型化边。给定一个新任务，SKILLGRAPH 不仅检索个人技能，还检索可以指导多步骤决策的有序技能子图。该图根据智能体轨迹和强化学习反馈不断更新，从而使技能库和智能体策略共同改进。 ALFWorld、WebShop 和七个搜索增强 QA 任务的实验表明，SKILLGRAPH 相对于记忆增强 RL 方法实现了最先进的性能，尤其是在需要组合多种技能的复杂任务上取得了巨大的进步。