论文

EO-VGGT:用于卫星多视图重建的轨道射线条件 3D 基础模型

EO-VGGT: Orbital Ray-Conditioned 3D Foundation Models for Satellite Multi-View Reconstruction

应用与实践视觉感知与空间理解

摘要

在卫星星座时代,多视光学卫星图像对于地球观测(EO)和高质量数字表面模型(DSM)重建至关重要。尽管前馈 3D 基础模型已经改变了计算机视觉,但它们在卫星遥感中的部署本质上受到隐式透视假设和显式轨道推扫几何结构之间结构差异的限制。明显的视图集异质性进一步加剧了这种几何上的不协调。我们提出了 EO-VGGT,这是一个通过显式物理几何嵌入将冻结透视驱动模型适应轨道观测的框架。首先,几何相关约束选择(GCCS)策略通过平衡几何多样性和辐射一致性来优化输入序列,从而修剪次优观测。其次,传感器射线编码器(SRE)将从有理函数模型(RFM)导出的像素级推扫式视线参数化为高维空间几何标记,从而协调中心投影和轨道运动学之间的数学差异。第三,轻量级射线指向感知适配器(RPAA)采用门控残差块将这些词元直接集成到冻结的 Transformer 主干中。我们的研究结果强调,将显式物理几何与优化视图选择相结合对于稳健的前馈卫星 3D 重建至关重要。