MAM-AI:桑给巴尔护士和助产士的设备上医疗检索增强生成系统
MAM-AI: An On-Device Medical Retrieval-Augmented Generation System for Nurses and Midwives in Zanzibar
摘要
撒哈拉以南非洲地区的孕产妇和新生儿死亡率仍然是最高的,那里的助产士护理通常是由缺乏国际标准助产士训练的护士提供的,而且在护理点咨询权威指南也很困难:指南很长,而且连接时断时续。我们推出了 MAM-AI,这是桑给巴尔护士助产士的医疗问答助手,完全在商用 Android 设备上运行:嵌入一个问题(EmbeddingGemma,300M)并与 87 个指南文档(63,650 段)的精选语料库进行匹配,然后由 4B int4 生成器(Gemma 4 E4B)以引用进行回答,完全离线,没有任何查询离开设备。我们使用分层方法(检索器、预言机上下文下的生成器、端到端和延迟)评估确切的部署配置,并由 LLM 法官根据医生的评分标准进行评分。评估重新定位了难题。从本质上解决了设备端检索问题:300M嵌入器在7个检索器中排名第三,可与云系统相媲美,因此通常可以找到系统需要的段落。小型生成器仍然存在疑问:添加检索到的上下文并不能改善其答案,并且在 4B 中,它不能同时既有用又安全——对于两个相同大小的候选者,更有帮助的一个会犯真正危险的错误,因此我们部署另一个,它对其来源的忠诚度大约是前沿模型的两倍(与前沿模型一样忠诚),并通过重新设计的提示恢复其有用性,将偏差从 33% 减少到 3%。出于同样的原因,语料库的质量也是决定性的:如果语料库包含正确的段落,答案就是具体且可操作的,而如果没有,答案就会变得模糊。 MAM-AI 是经过彻底评估的开源研究原型,而不是已投入使用的产品;系统、知识库、基准和评估工具已发布。