用于自主无人机修剪的实时分支到工具距离估计:对从模拟到 Jetson 部署的五个 DEFOM-Stereo 变体进行基准测试
Real-Time Branch-to-Tool Distance Estimation for Autonomous UAV Pruning: Benchmarking Five DEFOM-Stereo Variants from Simulation to Jetson Deployment
摘要
使用无人机 (UAV) 进行自主树木修剪是一项安全关键的现实任务:机载感知系统必须实时估计从切割工具到细树枝的公制距离,以便无人机能够接近、对齐和驱动修剪机而不会发生碰撞。我们通过在特定于任务的合成数据集上训练 DEFOM-Stereo(一种最新的基于基础模型的立体匹配器)的五个变体并在 NVIDIA Jetson Orin Super 16 GB 上部署检查点来解决这个问题。训练语料库是在虚幻引擎 5 中构建的,配有模拟 ZED Mini 立体相机,从 2m 距离的三个视点捕获 115 个树实例中的 5,520 个立体对;密集的 EXR 深度图为细分支提供精确、空间完整的监控。在综合测试集上,DEFOM-Stereo ViT-S 实现了最佳的深度域精度(EPE 1.74 px、D1-all 5.81%、delta-1 95.90%、深度 MAE 23.40 cm),但其约 2.2 FPS(约 450 毫秒每帧)的 Jetson 推理速度对于响应式闭环工具控制来说仍然太慢。新推出的平衡变体 DEFOM-PrunePlus(~21M 主干网,Jetson 上~3.3 FPS)提供了最佳的可部署精度与速度权衡(EPE 5.87 px,深度 MAE 64.26 cm,delta-1 87.59%):其帧速率足以进行实时引导,其深度精度支持 2m 操作范围内的安全分支进场规划。轻量级的 DEFOM-PruneStereo (~6.9 FPS) 和 DEFOM-PruneNano (~8.5 FPS) 运行速度快,但牺牲了很大的精度(深度 MAE > 57 cm),使得估计对于安全驱动来说太不可靠。对真实照片的零样本推理证实了全容量模型保留了分支几何形状,从而验证了模拟到真实的转换。我们得出的结论是,DEFOM-PrunePlus 为机载距离估计提供了最实用的精度-延迟平衡,而 ViT-S 则作为未来硬件的参考。