阿拉伯语医学文本生成的严重性感知加权损失

大语言模型 在阿拉伯语医学文本生成方面显示出强大的潜力；然而，传统的 微调 目标统一处理所有医疗病例，忽略了临床严重程度的差异。这种限制在医疗保健环境中尤其重要，因为严重情况下的错误会带来更高的临床风险。在这项工作中，我们提出了针对医疗投诉响应数据的 微调 阿拉伯语言模型的严重性感知加权损失。该方法依赖于软严重性概率在优化期间动态缩放 词元级 损失贡献，从而在不修改模型架构的情况下优先考虑临床关键相互作用。实验是使用 MAQA 数据集进行的，该数据集提供阿拉伯语医疗投诉和可信的人类反应。严重性标签和概率分数是使用经过微调的基于 AraBERT 的分类器自动得出的，并仅在损失级别合并。所提出的方法在不同架构和参数范围的十个阿拉伯语 大语言模型 中进行了评估。虽然标准交叉熵 微调 仅产生适度的改进，但严重性感知优化始终能够实现更大的收益。采用平衡权重配置，AraGPT2-Base的性能从54.04%提高到66.14%，AraGPT2-Medium的性能从59.16%提高到67.18%，Qwen2.5-0.5B的性能从57.83%提高到66.86%，峰值性能达到67.18%。总体而言，与非微调基准相比，严重性感知 微调 的性能提升高达 12.10%，展现出稳健且架构一致的增益。