ReSAIL：减轻迭代Agent自蒸馏中的崩溃

迭代自我蒸馏使 LLM Agent能够从连续的部署中学习，从而提供了一条递归自我改进 (RSI) 的途径。然而，我们对现有方法的实验表明，跨周期的部署性能会崩溃，而特权信息 (PI) 的任务性能也会下降。我们通过优先考虑信息交互步骤来解决这种崩溃问题，以便在学生成为下一任老师时进行蒸馏并保留 PI 条件行为。我们引入了迭代自蒸馏的保留和选择性增强 (ReSAIL)，这是一种基于 PI 的迭代自蒸馏的插件增强。 ReSAIL 选择 PI 最能改变教师预测的交互步骤，并平衡轨迹上产生的蒸馏损失。它还在选定和未选定的步骤中将学生的 PI 条件输出分布规范化为冻结教师的输出分布，以保留 PI 条件行为以供下一个周期的监督。在 ALFWorld 和 TextCraft 上，ReSAIL 在三个周期内保持了跨模型规模的大幅增长，当添加到自蒸馏基线时，最终周期成功率的平均绝对增益为 22.5%。离线数据的灵敏度引导选择还提高了 AITZ 上多模态 GUI Agent的动作预测准确性。这些发现提供了第一个证据，证明更强大的学习机制可以有效减轻部署轨迹上迭代Agent自我蒸馏的性能崩溃。