联合多模态图基础模型中的感知与推理耦合

联合多模态图基础模型（GFM）旨在使预训练的多模态模型适应去中心化图数据，其中每个客户端都拥有一个私有多模态图并且无法共享原始信息。这些模型通常结合了从异构模态中提取语义证据的多模态编码器和对图结构执行关系推理的图神经网络（GNN）。然而，现有的联邦GFM自适应方法主要更新图端模块，同时保持多模态编码器冻结，在修复what information is extracted的同时限制对how information is propagated的自适应。通过实证研究，我们揭示了编码器和 GNN 适应并不是独立的：编码器适应受到图关系的影响，而跨客户端模块交换揭示了单独参数化编码器和 GNN 更新之间的显着配对敏感性。受这一观察的启发，我们提出了 FedCORE，这是一个联合适应框架，它通过共享的低维潜状态表示编码器和 GNN 更新。 FedCORE 从多模态和结构信号中联合优化该核心，并直接在共享状态空间中执行联合进化，从而保持感知和推理适应之间的兼容性。大量实验表明，FedCORE 将编码器-GNN 配对间隙从 $30.6$ 减少到 $5.9$，相当于独立联合适应的 $80.7\%$ 减少。