CrossCult-KIBench：面向MLLM跨文化知识插入的基准

主要针对以英语为中心的数据进行训练的多模态大语言模型 (MLLM) 在跨文化环境中经常会产生文化上不恰当或不一致的响应。为了缓解这一问题，我们引入了跨文化知识插入的任务，其重点是使模型适应特定的文化背景，同时保留其在其他文化中的原始行为。为了促进这一领域的研究，我们引入了 CrossCult-KIBench，这是一个综合评估基准，用于评估知识插入的有效性及其对非目标文化的意外副作用。该基准包括 9,800 个基于图像的案例，涵盖英语、汉语和阿拉伯语语言文化群体的 49 个文化相关的视觉场景。它支持单插入和顺序插入设置中的评估。我们还提出记忆条件知识插入（MCKI）作为基线方法。 MCKI 使用冻结的 MLLM 表示从外部存储器中检索相关文化知识，并在适用时将匹配的条目作为条件提示预先考虑。 CrossCult-KIBench 上的大量实验表明，当前的方法很难平衡有效的文化适应与行为保留，这凸显了开发具有文化意识的 MLLM 的关键挑战。因此，我们的工作强调了开发更具文化适应性和负责任的 MLLM 的重要研究方向。