多模态模型跨模态偏置的基于物理的现象学刻画

“算法公平性”一词被用于评估 AI 模型是否公平运作，既包括比较性语境（公平被理解为形式平等，如“类似情形同样对待”），也包括非比较性语境（不公平源自模型的不准确、任意性或不可洞察性）。多模态大语言模型（MLLM）的最新进展正在多模态理解、推理与生成方面开辟新天地；然而，我们认为，复杂多模态交互动态产生的隐性失真可能导致系统性偏置。这篇立场论文的目的有二：其一，让 AI 研究者了解现象学可解释方法，它依赖机器在训练/推理期间经历的物理实体，而非传统的认知主义符号路线或形而上学路线；其二，声明这一现象学学说对解决 MLLM 的算法公平性问题具有实际用处。我们开发了一个基于物理的代理模型来描述 transformer 动力学（即语义网络结构与自/交叉注意力），以分析 MLLM 中跨模态偏置的动态，这是传统嵌入或表征层面的分析未能完全捕捉的。我们通过多输入诊断实验支持这一立场：1) 使用 Qwen2.5-Omni 和 Gemma 3n 对情感分类进行基于扰动的分析；2) 通过物理代理对 Lorenz 混沌时间序列预测进行动力学分析。在两个架构不同的 MLLM 上，我们表明多模态输入可能强化而非缓解模态支配，这一点由系统标签扰动下结构化的误差吸引子模式以及动力学分析所揭示。