论文

严重度感知课程学习与多模型响应选择用于远程医疗

Severity-Aware Curriculum Learning with Multi-Model Response Selection for Medical Text Generation

模型训练监督微调与指令调优

摘要

远程医疗系统对于提供可访问且及时的医疗信息变得越来越重要。现有的大型语言模型通常难以在不同程度的病例严重程度中提供一致且适合上下文的医疗响应。这一限制凸显了对能够有效适应医学查询中日益复杂的模型的需求。为了应对这一挑战,我们引入了一个严重性感知的多模型框架,该框架将课程培训策略与基于相关性的响应选择相结合。所提出的框架采用三阶段课程学习策略,其中每个模型都在轻度、中度和严重案例上顺序进行训练,以逐步获取领域知识。该方法使用五个大型语言模型,每个模型都在同一课程下独立训练。在推理过程中,所有模型都会生成候选响应,并选择具有最高 BERTScore 的响应作为最终输出。该框架在 MAQA 数据集上进行训练和评估,该数据集提供带注释的医学问答对。使用 BERTScore 评估的实验结果表明,与基线和微调模型相比,所提出的方法实现了优越的性能,在基线设置下达到 86.71%,在微调后达到 90.30%。这些结果凸显了将课程学习与多模型响应选择相结合在提高响应质量和医学文本生成相关性方面的有效性。