论文
衡量超出平均水平的文化一致性：评估印度背景下孕产妇保健LLM互动的框架
Measuring Cultural Alignment Beyond the Average: A Framework for Evaluating Maternal-Health LLM Interactions in Indian Contexts
摘要
医疗保健LLM现有的评估方法主要评估事实的正确性、安全性和流畅性，而对生成的交互是否反映文化背景的医疗保健推理提供的见解有限。这种限制在孕产妇健康中尤为重要，因为护理决策是由社会和关系规范决定的。我们介绍了 MH-INDIC，这是一个基于文化的评估框架，用于北印度城市和半城市背景下的孕产妇健康互动，通过孕产妇健康推理的十个维度来操作文化行为。我们对来自印度北部城市和半城市的 102 名孕妇和产后妇女进行了 26 项调查，评估了 10 名LLM。我们将人口层面的文化一致性与个人资料层面的行为差异区分开来。尽管有几个模型近似于人口水平的分布，但所有评估的系统在人口和家庭概况方面都表现出比人类群体低得多的变化，揭示了总体对齐和概况条件敏感性之间的差距。 作为 MH-INDIC 的下游应用，我们使用最一致的专有和开源模型，在零样本、自我调节和以人为本的提示下生成文化条件下的孕产妇健康对话。以人为本的调节产生更强的轮廓对齐和对话质量评级，这表明测量的文化轮廓可以改善生成的互动的文化基础