论文
Skill0.5：代理强化学习中分布外泛化的联合技能内化和利用
Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning
摘要
为 大语言模型 配备显式技能已成为使自主代理解决复杂任务的有前途的范例。代理技能本质上可以分为广泛认知迁移的通用技能和动态执行的特定任务技能。然而，现有的基于技能的强化学习（RL）方法通常迫使人们在完全外化（会产生过高的上下文开销）和完全内化（有过度拟合和知识冲突风险）之间做出严格的选择。为了解决这个困境，我们提出了 Skill0.5，这是一种新颖的代理 RL 框架，它通过将一般技能内化与特定任务技能利用相结合来明确区分技能处理。在动态、难度感知路由器的驱动下，Skill0.5 将任务分为不同的掌握层，以应用量身定制的优化策略：它通过特权 蒸馏 内化一般技能，为困难任务建立认知基础，同时对简单任务使用诊断探测来惩罚捷径并强制使用特定技能。 ALFWorld 和 WebShop 上的实验表明，Skill0.5 的性能优于基于内存和基于技能的 RL 基线，在分布内和分布外场景中均实现了性能改进。