论文
迈向文化一致性：对五个非洲社区的多模式人工智能故事进行以人为本的评估
Toward Cultural Alignment: Human-Centered Evaluation of Multimodal AI Stories Across Five African Communities
摘要
在本文中，我们研究了人工智能生成的多模式故事与它们所代表的社区的生活实践、关系、语言、价值观和视觉期望的一致性。我们对五个非洲社区的 19 名文化代表进行了基于社区的混合方法评估，将定量注释与定性焦点小组讨论相结合。我们发现文化一致性不仅取决于可识别的文化标记，还取决于这些标记如何适应社会、语言、程序和视觉背景。根据这些评估，我们制定了文化一致性分类法，包括五个更广泛的文化标记类别和八个反复出现的错位机制。我们还评估了五名多模式 LLM 法官，以检验自动评估是否可以大规模地近似基于社区的判断。不同社区的法官可靠性和分数校准差异很大，没有一个法官在所有五种环境中表现一致。这些发现激发了社区校准的评估渠道，其中自动法官根据社区判断进行验证，以确定他们在哪里可以信任，在哪里仍然需要人工审查。