通过双重因果干预消除多模态人格理解偏差

多模态人格理解在以人为中心的人工智能中发挥着至关重要的作用。之前的工作主要集中在学习丰富的多模态表示以理解视频个性。然而，由于受试者来自不同的人口背景，他们经常遭受受试者偏见（例如可观察的年龄和不可观察的精神状态）造成的潜在伤害。学习多模态特征和特质之间的这种虚假关联可能会导致不公平的人格理解。在这项工作中，我们构建了一个结构因果模型（SCM），从因果角度分析这些偏见的影响，并提出了一种新颖的双重因果调整网络（DCAN）来减轻主体属性对人格理解的干扰。具体来说，我们设计了一个后门调整因果学习（BACL）模块，通过基于原型的混杂字典阻止可观察的人口统计因素中的虚假相关性，随后应用前门调整因果学习（FACL）模块通过习得的中介干预来解决潜在的和不可观察的偏见，从而实现去混杂推理的表示的因果解开。重要的是，我们构建了一个人口统计注释的多模态学生人格（DMSP）数据集来支持公平相关因素的分析和讨论。对基准数据集 CFI-V2 和我们的 DMSP 数据集的大量实验表明，DCAN 持续提高预测精度，分别达到 92.11% 和 92.90%。与此同时，机会均等和人口均等的公平性指标在 CFI-V2 上分别提高了 6.57% 和 7.97%，在 DMSP 数据集上分别提高了 15.38% 和 20.06%。我们的代码和 DMSP 数据集可在 https://github.com/Sabrina-han/DCAN 获取