论文

通过解耦训练进行关键补丁感知稀疏提示,以实现边缘持续学习

Critical Patch-Aware Sparse Prompting with Decoupled Training for Continual Learning on the Edge

模型优化端侧模型

摘要

边缘设备上的持续学习(CL)不仅需要高精度,还需要训练时间效率,以支持严格的内存和计算约束下的设备自适应。虽然基于提示的持续学习 (PCL) 具有参数效率,并且实现了有竞争力的准确性,但之前的工作主要集中在准确性或推理时间性能上,通常忽视了设备上训练的内存和计算成本。在本文中,我们提出了 CPS-Prompt,这是一种关键补丁感知稀疏提示框架,通过集成用于任务感知词元减少的关键补丁采样(CPS)和解耦提示和分类器训练(DPCT)来减少反向传播开销,从而明确针对训练时内存使用和计算成本。在三个公共基准测试和真实边缘硬件上进行的实验表明,与平衡的 CODA-Prompt 基准相比,CPS-Prompt 将峰值内存、训练时间和能源效率提高了约 1.6 倍,同时将平均精度保持在最先进的 C-Prompt 的 2% 以内,并在精度方面与 CODA-Prompt 保持竞争。该代码可在 https://github.com/laymond1/cps-prompt 获取。