SkillSandbox：通过动态合成场景验证技能的可复用性

自我改进Agent把任务经验提炼为供以后使用的技能，但这些技能可能包含错误步骤或无法迁移的知识。因此，验证技能的复用能力十分重要：它的指导是否能在原始经验之外的任务中继续发挥作用。验证需要观察技能如何影响新任务执行，但已有任务未必包含真正需要使用目标技能的情境。为此，我们提出SkillSandbox，为每项技能动态合成一个与技能相关、同时具有新颖性的任务及其执行环境。提议Agent规定哪些条件应当保留、哪些原始情境细节应当改变；构建Agent创建可执行场景；验证Agent比较使用和不使用技能的执行过程。验证Agent根据可执行性、实际效用和效率给出Keep或Reject决定，确定技能是否进入技能库。在ALFWorld和WebShop上使用三个模型的实验中，SkillSandbox均取得最好的下游任务表现，并改善执行效率。进一步分析检验这些提升是否来自对技能复用能力的准确判断，以及框架中的哪些组件产生了贡献。