质量感知多模态融合何时重要？针对决策级依赖性的泄漏安全诊断

许多多模态系统估计每种模态的可靠性，并加权它们对最终预测的贡献。然而，目前尚不清楚这些分数是否影响模型决策或仅与性能相关。我们提出了一个简单的诊断来测试推理过程中是否使用了可靠性信息。训练后，模型和输入是固定的，而可靠性分数则在测试示例中进行排列。如果预测依赖于这些分数，那么性能就会下降。用于压力识别的 StressID 和用于情感分析的 CMU-MOSEI 实验表明，尽管从每个示例中选择最佳模态可以获得巨大的潜在收益，但排列可靠性分数会使性能保持不变。在可靠性信号识别正确模态的正控制中，相同的冻结融合规则产生了显着的改进，这表明可靠性信号只有在可靠地预测单峰正确性时才会影响融合决策。