Rep2Skill：LLM Agent的表征引导技能自我进化

文本技能使基于大语言模型（LLM）的Agent能够积累可重用的程序知识，而无需更新模型参数。然而，现有的技能演变仍然很大程度上局限于文本空间：优化器必须诊断成功和失败模式，并仅根据长执行轨迹和稀疏任务结果来修改技能。这种纯文本范式将Agent的内部表示（其中包含其不断变化的执行状态的丰富记录）保留在技能优化循环之外。我们询问智能体是否可以通过反思自己的内部表征来提高其外部文本技能。我们引入了 Rep2Skill，一个用于Agent技能自我进化的表征引导框架。具体来说，在收集到的Agentrollout后，Rep2Skill 对其内部模型表示轨迹进行建模，以定位偏离成功执行动态的转向，并进一步将这些信号与执行上下文一起解释为可操作的文本反馈，以进行有针对性的技能修订。在具有两个开源 LLM 的两个Agent环境上进行的实验表明，Rep2Skill 在自我进化设置中始终优于纯文本方法，其中相同的 LLM 既充当执行器又充当优化器，而无需更强大的外部模型。这确立了一个有希望的方向，推动Agent自我改进，超越纯文本反思。