URoPE：跨几何空间的通用相对位置嵌入

相对位置嵌入已成为 Transformer 中编码位置信息的标准机制。然而，现有的公式通常仅限于固定的几何空间，即 1D 序列或规则的 2D/3D 网格，这限制了它们对许多需要跨摄像机视图或 2D 和 3D 空间之间的几何推理的计算机视觉任务的适用性。为了解决这个限制，我们提出了 URoPE，这是旋转位置嵌入（RoPE）到跨视图或跨维度几何空间的通用扩展。对于每个键/值图像块，URoPE 在预定义深度锚点处沿相应相机光线采样 3D 点，并将它们投影到查询图像平面中。然后可以使用投影像素坐标应用标准 2D RoPE。 URoPE 是一种无参数且内在感知的相对位置嵌入，对于全局坐标系的选择是不变的，同时与现有的 RoPE 优化的注意力内核完全兼容。我们将 URoPE 评估为 Transformer 架构的插件位置编码，涵盖多种任务，包括新颖的视图合成、3D 对象检测、对象跟踪和深度估计，涵盖 2D-2D、2D-3D 和时间场景。实验表明，URoPE 在所有任务中持续提高基于 Transformer 的模型的性能，证明了其几何推理的有效性和通用性。我们的代码可在我们的项目网站上找到：https://urope-pe.github.io/。