通过语义路由和适配器个性化进行缺失模态的联合跨模态检索

联合跨模态检索面临来自异构客户端数据的严峻挑战，特别是非独立同分布语义分布和缺失模态。在这种异构性下，单一的全局模型通常不足以捕获共享的跨模式知识和客户特定的特征。我们提出了 RCSR，这是一种个性化友好的联合框架，集成了原型锚定、以检索为中心的语义路由和可选的客户端特定适配器。 RCSR 建立在冻结的 CLIP 主干基础上，利用轻量级共享适配器进行全球知识传输，同时支持高效的本地个性化。原型锚定帮助单模态客户端与全局跨模态语义保持一致，服务器端语义路由器根据检索一致性自适应地分配聚合权重，以减轻异构更新期间的对齐漂移。在 MS-COCO、Flickr30K 和其他基准上的大量实验表明，RCSR 持续提高了全局检索准确性和训练稳定性，同时进一步增强了客户端级别的检索性能，特别是对于模态不完整的客户端。代码可在 https://github.com/RezinChow/RCSR-Retrieval-Centric-Semantic-Routing 获取。