CKT-WAM：世界行动模型之间参数高效的上下文知识转移

世界行动模型 (WAM) 为体现控制提供了强大的生成框架，但由于潜在接口不匹配、适应成本高以及传统 蒸馏 目标的僵化，跨异构 WAM 传递知识仍然具有挑战性。我们提出了 \textbf{CKT-WAM}，一个参数高效的 \textbf{C}ontext \textbf{K}nowledge \textbf{T} 传输框架，通过文本嵌入空间中的紧凑上下文将教师 WAM 的知识传输到学生 WAM，而不是输出模仿或密集隐藏状态匹配。具体来说，CKT-WAM 提取中间教师隐藏状态，通过压缩器的可学习查询交叉注意 (LQCA) 减少标记数量，并通过始终在线的通用适配器、轻量级路由器和稀疏激活的专用适配器对它们进行转换。然后将生成的上下文附加到学生的条件文本嵌入中，从而以最小的架构修改将转移的知识注入学生体内。实验表明，CKT-WAM 持续改进了零样本泛化能力，并在 LIBERO-Plus 上实现了最佳整体性能，仅用 1.17% 的可训练参数即可达到 86.1% 的总成功率，同时接近 微调 的全部性能。除了模拟之外，CKT-WAM 还展示了强大的现实世界长视野操纵能力，在四个多步骤长视野任务中实现了 83.3% 的最佳平均成功率。代码可在 https://github.com/YuhuaJiang2002/CKT-WAM 获取。