论文

具有 LoRA 微调 的多任务 LLM 用于自动癌症分期和生物标志物提取

Multi-Task LLM with LoRA Fine-Tuning for Automated Cancer Staging and Biomarker Extraction

模型训练参数高效训练

摘要

病理报告是乳腺癌分期的明确记录,但其非结构化格式阻碍了大规模数据管理。虽然 大语言模型 (LLM) 提供语义推理,但其部署通常受到高计算成本和幻觉风险的限制。本研究引入了一个参数高效的多任务框架,用于自动提取肿瘤-淋巴结-转移 (TNM) 分期、组织学分级和生物标志物。我们使用低秩适应 (LoRA) 在经过专家验证的包含 10,677 份报告的数据集上微调 Llama-3-8B-Instruct 编码器。与生成方法不同,我们的架构利用并行分类头来强制遵循一致的模式。实验结果表明,该模型的 Macro F1 得分为 0.976,成功解决了复杂的上下文歧义和异构报告格式,这些问题对传统提取方法(包括基于规则的自然语言处理 (NLP) 管道、零样本 LLM 和单任务 LLM 基线)提出了挑战。所提出的适配器高效、多任务架构能够实现可靠、可扩展的病理学癌症分期和生物标志物分析,并有可能增强临床决策支持并加速数据驱动的肿瘤学研究。