Gaokerena：一个小型波斯医学语言模型家族

人工智能与医疗问答系统的融合进展迅速；然而，研究仍然主要集中在英语上，而对波斯语等资源匮乏的语言的服务严重不足。为了解决这一差距，本文介绍了 Gaokerena，这是一个新颖的紧凑型波斯语医学语言模型系列，针对在消费级硬件上的部署进行了优化。作为实现本地化数字医疗保健的基础性步骤，我们首先推出了 Gaokerena-V，它是通过在新策划的 9000 万词元波斯医学语料库（约 5400 万个词元）和 20,000 个经过专家审查的医生问答对（约 300 万个词元）中战略性选择的子集上训练基线模型而开发的，总共 5700 万个新词元。此次训练将翻译后的医学 MMLU 基准的性能从 46.64% 提高到 49.31%。其次，认识到临床推理的关键需求，我们通过将思想链方法与两个新颖的人工智能反馈强化学习（RLAIF）框架相结合来开发Gaokerena-R，以优化基于偏好的推理。尽管采用与 Gaokerena-V 相同的基线架构和更小的数据集，Gaokerena-R 仍取得了 52.98% 的优异基准分数。此外，这两个模型都配备了定制开发的不确定性头，仅根据内部隐藏状态来预测模型对其响应的置信度。虽然这些结果表明波斯医学语言建模和主动安全评估取得了重大进展，但目前的性能水平仍然不足以直接应用于临床，这凸显了在实际部署之前进一步研究可靠的知识获取和严格的安全验证的必要性。