Fisheye3R：使统一 3D 前馈基础模型适应鱼眼镜头

用于多视图 3 维 (3D) 重建的前馈基础模型已在大规模透视图像数据集上进行了训练；当在宽视场图像（例如鱼眼相机）上进行测试时，它们的性能会下降。这种退化是由将 3D 点映射到 2D 图像平面的非线性投影模型引起的像素空间排列的变化引起的。虽然人们可能推测对鱼眼图像进行训练可以解决这一问题，但 真值 的鱼眼图像比透视图像少得多，这限制了泛化。为了能够对表现出高径向畸变的图像进行推理，我们提出了 \textit{Fisheye3R}，这是一种新颖的适应框架，它扩展了这些多视图 3D 重建基础模型，以原生适应鱼眼输入，而无需对透视图像进行性能回归。为了解决鱼眼图像和 真值 的稀缺问题，我们引入了灵活的学习方案，支持仅使用未标记透视图像的自监督适应和无需任何鱼眼训练数据的监督适应。包括 VGGT、$π^3$ 和 MapAnything 在内的三个基础模型的广泛实验表明，我们的方法持续改进鱼眼图像上的相机姿态、深度、点图和视场估计。代码可在 https://github.com/android-xr/fisheye3r 获取。