论文
RegisterBridgeMM:用于 RGB 红外对象检测的以寄存器为中心的框架
RegisterBridgeMM: A Register-Centric Framework for RGB-Infrared Object Detection
摘要
RGB 红外 (RGB-IR) 物体检测受益于互补的可见光和热线索,但在光照变化、天气变化和杂乱的场景下,有效的融合仍然具有挑战性。现有的 RGB-IR 融合方法通常会用富有表现力的块级交互来换取更轻但更受约束的适应机制。我们凭经验观察到,预训练的寄存器词元在成对的 RGB-IR 输入上包含模态共享和模态特定信息,这表明它们可以作为跨模态通信的紧凑基底。基于这一观察,我们提出了 RegisterBridgeMM,一个以三阶段寄存器生命周期组织的寄存器介导的融合框架。聚合保留了从预训练继承的每个模态的寄存器摘要; Bridge 通过共识残差调节执行双向寄存器到补丁读取; Project 将所得的寄存器摘要转换为补丁特征的空间自适应校准。该注册路径避免了密集的补丁到补丁跨模式交互,同时保留了预训练的补丁表示。在冻结两个骨干流的情况下,RegisterBridgeMM 在所有四个基准测试(LLVIP、M3FD、DroneVehicle 和 FLIR-Aligned)的评估方法中实现了最高的 mAP50-95。