See&Say：视觉语言引导的自主包裹递送无人机安全区检测

自主无人机递送系统正在迅速发展，但在杂乱的城市和郊区环境中，确保安全可靠的包裹投递仍然极具挑战性，准确识别合适的包裹投递区域至关重要。现有的方法通常依赖于基于几何的分析或单独的语义分割，但这些方法缺乏鲁棒决策所需的集成语义推理。为了解决这一差距，我们提出了 See&Say，这是一种新颖的框架，它将几何安全线索与语义感知相结合，并在视觉语言模型 (VLM) 的指导下进行迭代细化。该系统将单目深度梯度与开放词汇检测掩模融合以生成安全地图，而 VLM 则动态调整对象类别提示并随着时间的推移完善危险检测，从而在最终交付阶段的动态条件下实现可靠​​的推理。当主要投递台被占用或不安全时，拟议的 See&Say 还会确定包裹投递的替代候选区域。我们整理了包含移动物体和人类活动的城市配送场景数据集来评估该方法。实验结果表明，See&Say 的性能优于所有基线，实现了安全地图预测的最高准确度和 IoU，以及跨多个阈值的替代降落区评估的卓越性能。这些发现凸显了 VLM 引导的分段深度融合对于推进安全实用的基于无人机的包裹递送的前景。