论文
SAMA:用于统一低资源多模态信息提取的语义锚对齐增强
SAMA: Semantic Anchor-aligned Augmentation for Unified Low-Resource Multimodal Information Extraction
摘要
多模态信息提取 (MIE) 涵盖多模态命名实体识别 (MNER)、关系提取 (MRE) 和事件提取 (MEE) 等任务,对于理解多媒体内容至关重要,但仍然受到严重数据稀缺的限制。尽管数据增强是一种很有前途的补救措施,但现有的方法受到粗略的跨模式对齐和碎片化、特定于任务的设计的阻碍,这些设计无法利用共享的语义知识。为了克服这些限制,我们引入了语义锚对齐多模态增强(SAMA),这是一个用于生成高保真、任务感知合成数据的统一框架。 SAMA 从 真值 标签构建结构化语义锚来指导协作多专家多模式 大语言模型 (CME-MLLM),它将用于共享语义的通用适配器与特定于任务的适配器集成,以生成多样化但符合约束的文本样本。对于图像合成,SAMA 采用锚点保留扩散机制,该机制使用锚点加权提示和潜在条件来维持关键的语义锚点,同时使视觉上下文多样化。为了消除手动验证的需要,SAMA 进一步引入了双约束过滤模块,该模块根据跨模态一致性和锚定保真度来选择合成样本。跨 MNER、MRE 和 MEE 基准数据集的广泛实验表明,SAMA 在完全监督和低资源设置下始终优于最先进的增强基线,强调了其多功能性、稳健性和有效性。