mamabench 和 mamaretrieval：评估孕产妇、新生儿和生殖健康方面的医学检索增强一代的基准

医学问答基准很少涵盖护士/助产士提出的孕产妇、新生儿、儿童和生殖健康问题，而且据我们所知，不存在用于孕产妇健康指南检索的公共块级相关性基准。我们发布了两个基准来填补这些空白。 mamabench 是一个范围过滤的 QA 集，包含 25,949 个项目，由七个现有专家编写的来源组成，涵盖多项选择、简答题和评分标准；为了帮助用户校准对评分标准进行评分的 LLM 判断，我们将 HealthBench 的医师标记元评估范围重新调整到该领域。 mamaretrieval 将 63,650 个孕产妇健康指南语料库中的 3,185 个临床查询与分级 (0-6) 相关性标签配对，使用分解的标题来区分回答查询的块和仅在其主题上回答查询的块。三个决定塑造了两者：组装和过滤专家来源而不是提出问题，对相关性进行分级而不是将其二值化，衡量和披露标签的限制——范围分类器协议、前沿法官检查和汇集完整性审计——而不是将它们视为神谕。配套论文使用这些基准来评估已部署的设备上助手；两者均公开发布以供研究。