用于防撞系统板载多任务密集预测模型半监督学习的实例感知知识蒸馏

摘要

防撞系统已发展为基于摄像头的深度学习方法，用于驾驶场景理解。然而，在乡村俱乐部等边缘环境中的部署受到有限的计算资源和不可靠的通信基础设施的限制。此外，为目标领域构建大规模数据集涉及大量注释成本。为了解决这些限制，我们提出了一种用于半监督学习的实例感知知识蒸馏框架。具体来说，我们生成伪标签，通过利用教师的领域先验和基础模型的以实例为中心的知识来减轻教师的偏见。经过训练的轻量级学生部署在所提出的防撞系统中，并实时执行多个密集预测任务。该系统检测前方障碍物并将其空间信息编码到控制器局域网消息中，以供自动引导车辆操作。为了实现这一目标，我们构建了一个大型乡村俱乐部数据集并对所提出的系统进行了现场验证。实验结果表明，学生在实例分割方面优于大老师，同时减轻了单目深度估计方面的性能下降。与老师相比，学生的 FLOP 减少了 22.68$\times$，参数减少了 14.33$\times$，在低成本边缘设备上实现了 6.46 FPS。