反事实忠实情感解释的忠实行动单元因果推理

多模态模型可以命名面部情感背后的动作单元 (AU)，但它们的 AU-> 情感基本原理通常是合理的，而不是忠实的：没有什么强制模型调用的 AU 成为实际驱动其预测的 AU。我们将 AU-> 情感推理视为基本原理、标签和结构 AU-> 情感因果图 G 之间的反事实一致性问题，并提出 FACR，它将推理器置于独立诱导的、极性感知的 G 中，并训练反事实 忠实性 目标：对 AU 进行 do 干预，其中 G 标记一类的因果关系必须移动预测，而它标记的一类必须移动预测不相关的必须保持不变。因此，忠实性 可以通过匹配的干预指标进行训练和测量，我们根据已知的因果结构（PSPI 疼痛-AU 组成）对其进行评估，因为现有的情感推理基准不允许。我们明确指出，该指标测试的是对所提供结构的保真度，而不是其重新发现：它询问经过训练的推理器是否在保留的主题和第二个数据集上调用结构标记因果关系的 AU。在 UNBC-PAIN 上的独立于受试者的评估下，目标以较小的检测成本将调用的 AU 和 PSPI 组成之间的一致性从 0.08 的无目标基线提高到 0.57；不忠实控制将收益归因于目标。在跨数据集情感转移中，目标同样提高了七类任务上 G 的保真度（0.50 到 0.84）。最后，我们附加一个语言语言器，并将审核扩展到生成的文本：通过其潜在激活来偏置每个动作单元的发射，使得基本原理通过构造变得可信，因此消融 AU 会将其从解释中删除，这是一种转移到第二语言模型主干的属性，而自由生成的基本原理是不忠实的。