论文

ZipDepth:在任何设备上随时随地带来轻量级零镜头单目深度

ZipDepth: Bringing Lightweight Zero-Shot Monocular Depth Anywhere, on Any Device

模型优化小模型/轻量模型

摘要

通过基础模型实现强大的零样本泛化,单目深度估计取得了显着进展,但它们的计算需求使它们远远超出了嵌入式和移动平台的能力范围。轻量级的替代方案是存在的,但几乎完全是在单域、自我监督的范式中开发的,在域转移的情况下悄然失败。我们提出了 ZipDepth,这是一种紧凑的单目深度网络,它通过将高效的可重参数化编码器-解码器与来自大型多域训练集的基础模型的大规模 知识蒸馏 相结合来弥补这一差距。 ZipDepth 仅包含 610 万个参数,可从服务器 GPU 到功率受限设备以实时速率运行,在五个基准测试中的轻量级模型中实现零样本精度和部署效率之间的最佳权衡,向具有 50 倍以上参数的基础模型的精度迈出了重要一步。