论文
MissMAC-Bench:为鲁棒多模态情感计算中的模态缺失问题构建坚实基准
MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing
摘要
作为对异构数据源的知识发现任务,当前多模态情感计算(MAC)严重依赖多种模态的完整性来准确理解人的情感状态。然而在真实场景中,模态数据的可得性往往动态且不确定,不完整多模态输入的分布偏移与语义缺陷会导致性能大幅波动。这一被称为模态缺失问题的挑战,对 MAC 模型的鲁棒性与实际部署构成关键障碍。为系统量化该问题,我们提出 MissMAC-Bench,一个旨在从跨模态协同视角建立公平、统一评估标准的综合基准。我们提出两条指导原则:训练时不使用缺失先验,以及由单一模型同时处理完整与不完整模态场景,从而确保更好的泛化。此外,为弥合学术研究与真实应用之间的差距,我们的基准在数据集与实例两个层面整合了固定与随机缺失模式的评估协议。在4个数据集、3个广泛使用的语言模型上的大量实验,验证了多种 MAC 方法应对模态缺失问题的有效性。我们的基准为推进鲁棒多模态情感计算奠定坚实基础,并促进多媒体数据挖掘的发展。
