用于多模态情感分析的语义对齐结构抽象

多模态情感分析（MSA）旨在通过将自然语言与非语言模态相结合来解释复杂的人类情感。非语言模态与自然语言具有结构同构性，因为两者都可以被视为随时间演变的特征序列。这种同构能够将非语言模态转换为类似文本的标记，以进行统一的语义推理。 大语言模型 (LLM) 旨在理解和生成序列数据，因此可用于解释复杂的情感序列。然而，现有的基于 LLM 的方法主要捕获底层的表面特征，无法对结构变化和上下文交互产生的情感语义进行建模。为了解决这个限制，我们提出了 \textbf{SentiLLM}，一个统一的框架，利用 \textit{语义对齐结构抽象} 将连续的原始信号提炼成紧凑的、语义上有意义的标记。具体来说，我们引入了一种 \textit{双流显着性上下文校准机制}，它将非语言特征序列分解为焦点流和环境流。焦点流捕获由文本先验引导的显着情绪变化（例如面部表情），而环境流则表征稳定的背景状态。通过根据背景状态校准这些动态情绪变化，SentiLLM 有效地将非语言模态投射到统一的语义空间中，使 LLM 能够自然地理解它们。作为即插即用模块，SentiLLM 只需少量可训练参数即可显着提高判别性能。我们的方法在 MOSI、MOSEI、CH-SIMS 和 CH-SIMS v2 四个数据集上实现了卓越的性能，证明了 MSA 中结构抽象范式的有效性。我们的代码位于：\href{https://github.com/appliedW/SentiLLM}。