论文
以人类相似性判断维度生成理由监督对齐MLLM
Aligning MLLMs with the Latent Structure of Human Cognition via Behavior-Derived Semantic Dimensions
摘要
多模态大型语言模型（MLLMs）在广泛的推理任务中取得了令人印象深刻的性能，但仍不清楚它们的内部表示和决策标准是否与人类认知的潜在结构一致。在这项工作中，我们提出了一个新颖的框架，将 MLLMs 与人类相似性判断背后的多维心理表征结合起来。我们建立在先前建立的行为衍生语义嵌入空间的基础上，其中对象沿着源自 470 万次人类“三选一找异类”（Odd-One-Out，O1O）判断的 66 个可解释维度来表示。对于每个三元组，我们推断出最显著的决策维度并将其转换为基于维度的语言推理说明。这使得 MLLMs 能够学习最终选择以及与推断的行为标准一致的理由。实验结果表明，我们的方法提高了模型与人类相似性判断的一致性，同时保留了标准多模态基准上的竞争性能。此外，在独立的 fMRI 自然场景数据集 (NSD) 上使用探照灯表征相似性分析 (RSA)，我们观察到模型和人类之间的表征一致性有所增加。最终，我们的研究结果指出了一种将人类认知结构纳入 MLLMs 对齐的数据驱动途径。代码见 https://github.com/ening-open/cogalign。
