论文
AeroVerse-SatAgent:受认知神经科学双视觉通路理论启发的无人机-卫星协作空间推理
AeroVerse-SatAgent: UAV-Satellite Collaborative Spatial Reasoning Inspired by the Dual Visual Pathway Theory of Cognitive Neuroscience
摘要
随着航空航天体现智能的快速发展,使无人机(UAV)能够自主理解和推理复杂环境变得越来越重要。然而,现有的基于无人机的空间推理方法面临着严重的局限性:单视图感知使它们容易受到遮挡和透视扭曲的影响,而大多数 VLM 缺乏明确的几何建模,依赖于语义线索,并在视点和尺度变化下产生不一致的推理。为了应对这些挑战,我们提出了 SatAgent,这是一种受人类视觉系统双通路机制启发的无人机-卫星协作空间推理模型。通过联合利用卫星和无人机的视角,SatAgent 可在复杂的城市环境中实现稳健、准确的推理。我们首先引入几何感知 3D 重建编码器,将 2D 无人机特征提升为显式 3D 空间表示。接下来,我们设计了一个多视图拓扑语义对齐模块,将跨视图特征集成在统一的 BEV 坐标系中。我们进一步引入了多视图一致性损失,鼓励视点不变的表示。最后,我们构建了SatAgent-SR130K,这是第一个大规模无人机-卫星协作多视图空间推理数据集。实验表明,SatAgent 在不同的任务中分别优于最先进的通用基础模型和专用空间推理模型 25.91% 和 11.69%,在复杂的几何关系推理中实现了特别高的准确性。