REALM：用于跨模态感知的 RGB 和事件对齐的潜在流形

与基于标准帧的传感器相比，事件摄像机具有多种独特的优势，包括高时间分辨率、低延迟和对极端光照的鲁棒性。然而，现有的基于学习的事件处理方法通常局限于狭窄的、特定于任务的孤岛，并且缺乏跨模式泛化的能力。我们使用 REALM 来解决这一差距，REALM 是一个跨模态框架，通过将事件表示投影到 RGB 基础模型的预训练潜在空间中来学习 RGB 和事件对齐的潜在流形。我们不是针对特定任务进行训练，而是利用低秩适应 (LoRA) 来弥合模态差距，有效地解锁异步事件流的冻结 RGB 主干的几何和语义先验。我们证明 REALM 有效地将事件映射到基于 ViT 的基础潜在空间。我们的方法通过简单地传输在 RGB 教师上训练的线性头来执行下游任务，例如深度估计和语义分割。最重要的是，REALM 能够将复杂的、冻结图像训练的解码器（例如 MASt3R）直接、零样本地应用到原始事件数据。我们在宽基线特征匹配方面展示了最先进的性能，显着优于专用架构。代码和模型可在 https://papers.starslab.ca/realm/ 获取。