SegRGB-X：通用 RGB-X 语义分割模型

由于不同的传感器特性，跨任意传感器模式的语义分割面临着巨大的挑战，并且该任务的传统配置导致了冗余的开发工作。我们通过引入通用的任意模态语义分割框架来解决这些挑战，该框架统一了多种模态的分割。我们的方法具有三个关键创新：(1) 模态感知 CLIP (MA-CLIP)，它通过 LoRA 微调 提供特定模态的场景理解指导； (2) 用于捕获细粒度特征的模态对齐嵌入； (3)用于动态特征调整的领域特定细化模块(DSRM)。通过对具有不同补充模态（事件、热、深度、偏振和光场）的五个不同数据集进行评估，我们的模型超越了专门的多模态方法，并实现了最先进的性能，mIoU 为 65.03%。代码将在接受后发布。