HerHealthEval：评估对女性健康沟通的多语言和语体敏感理解

大型语言模型越来越多地用于医疗保健沟通，但大多数评估强调响应质量，同时假设用户的担忧已得到正确解释。我们推出 HerHealthEval，这是一个用于多语言理解女性健康沟通的受控评估框架。对于每个临床病例，HerHealthEval 使用六种交流形式提供英语、法语和现代标准阿拉伯语的匹配版本：规范、临床、外行、间接或对冲、情感关注和故意不明确。前五个表达了相同的潜在担忧并保留了相同的临床信息，而未指定的表格故意省略了相关细节，以测试模型是否认识到需要澄清。我们在关注点分类、风险校准、澄清行为、解析合规性和跨表单一致性方面评估多语言教学模型和 QLoRA 适应变体。结果表明，总体准确性和一致性可以掩盖与安全相关的故障。在语言不对称风险监督下，多语言适应模型在法语和阿拉伯语中的分类不足率达到 0.994。使用源自源的、语言不变的风险标签进行受控的重新适应，将分类不足率分别减少到 0.572 和 0.558。这些发现表明，稳健的多语言医疗保健评估需要对注册变异、不确定性处理以及适应标签的来源和不变性进行明确的测试。