论文

RadLite:用于 CPU 可部署放射学 AI 的小语言模型的多任务 LoRA 微调

RadLite: Multi-Task LoRA Fine-Tuning of Small Language Models for CPU-Deployable Radiology AI

应用与实践行业应用

摘要

大语言模型 (LLM) 在放射学方面显示出前景,但其部署受到计算要求的限制,无法在资源有限的临床环境中使用。我们研究了 3-40 亿个参数的小语言模型 (SLM) 是否可以通过 LoRA 微调 实现强大的多任务放射学性能,从而实现在消费级 CPU 上的部署。我们在涵盖 9 个放射学任务的 162K 个样本上训练 Qwen2.5-3B-Instruct 和 Qwen3-4B - 跨 10 个系统的 RADS 分类、印象生成、时间比较、放射学 NLI、NER、异常检测、N/M 分期和放射学问答 - 由 12 个公共数据集编译而成。这两个模型都根据每个任务最多 500 个保留的测试样本以及标准化指标进行评估。我们的主要发现是:(1) LoRA 微调 比零样本基线显着提高了性能(RADS 准确度 +53%,NLI +60%,N-staging +89%); (2)两个模型表现出互补的优势——Qwen2.5擅长结构化生成任务,而Qwen3则主导提取任务; (3) 结合两种模型的任务预言机集成在所有任务中实现了最佳性能; (4) 微调模型的小样本提示会损害性能,这表明 LoRA 适应比专业领域的上下文学习更有效; (5) 模型可以量化为 GGUF 格式(~1.8-2.4GB),以便在消费类硬件上以 4-8 个词元/秒的速度进行 CPU 部署。我们的工作表明,小型、高效的微调模型(我们统称为 RadLite)可以作为实用的多任务放射学人工智能助手,可以完全部署在消费类硬件上,无需 GPU。代码和模型可在 https://github.com/RadioX-Labs/RadLite 获取