论文
多模态布局编码：学习密集模态不变表示
Multimodal Floorplan Encoding: Learning Dense Modality-Invariant Representations
摘要
平面图有多种形式，从矢量 CAD 绘图到光栅渲染和传感器导出的密度图。这种异质性使得构建跨模态传输并支持以几何为中心的任务（例如对齐和检索）的学习系统变得困难。我们引入了多模态平面图编码器（MMFE），它将不同的 2D 室内表示映射到共享的密集潜在网格中。 MMFE 将冻结的 DINOv3 主干与可训练的密集预测变换器 (DPT) 头相结合，并使用每单元信息噪声对比估计 (InfoNCE) 目标进行训练，该目标跨模态对齐空间对应区域，同时使用所有其他单元作为负数。为了提高对几何扭曲的鲁棒性，我们结合了受控的相似性变换，并通过特征网格扭曲来强制几何一致性。在 Structured3D（一个保留的域外数据集）上，MMFE 改进了跨模式密集匹配，实现了与 RANSAC 的稳健相似性对齐，并在与学习聚合配对时产生强大的检索能力。