论文
MOVE:图学习的多模态开放世界验证和扩展
MOVE: Multimodal Open-world Verification and Expansion for Graph Learning
摘要
多模态图学习面临着一个根本性的挑战:部署后可能会出现新的类,而模型是使用固定的标签空间进行训练的。现有方法通常检测未知节点并使用 LLM 生成候选类描述,但它们无法确定现有类是否不足以覆盖这些节点,或者生成的类是否足够可靠以扩展类空间。我们的实证研究揭示了三个挑战:未知节点识别需要超越个体模态的多模态信息,LLM生成的类描述可能无法完全捕获多模态类特征,直接添加候选类可能会引入冗余类别。基于这些观察,我们提出了 MOVE,一个多模态开放世界级验证和扩展框架。 MOVE 通过联合考虑视觉词元、文本属性和图形上下文来识别无法分配给现有类的节点,利用多模态 LLM 生成候选类,并且仅当候选类得到多模态证据一致支持时才选择性地扩展类空间,而不引入不必要的类别。实验表明,MOVE 在未知识别、开放域注释和下游图学习任务中平均提高了 11.87%。