MedLLM：亚十亿参数规模的开源医疗语言模型

开源医疗语言模型已收敛到单一规模：所有被广泛使用的系统都在7B参数或以上运行，亚十亿（sub-billion）区间未被系统刻画。我们提出MedLLM，一个0.1B参数的开源医疗语言模型，通过完全开放的三阶段流水线训练：采用课程式序列长度调度的通用预训练；在MedFineWeb上进行领域微调——这是我们发布的一个参考引导式医疗语料，从通用网络数据中按与医疗问答（QA）数据的嵌入相似度筛选而成；以及结合SFT与直接偏好优化（DPO）的偏好对齐微调。在各医疗基准上，MedLLM呈现出一种只在亚十亿规模才可见的模式：医疗能力在压缩下并非均匀退化，而是按任务类型分化。在基于上下文的问答上，它与经过医疗适配的7B模型差距缩小到2.9个百分点（pp）以内，并超过指令微调与通用7B基线；在知识回忆型问答上，它在临床病例情景式的MedQA上接近任务下限，却在MedMCQA上显著超过所有7B与亚7B基线，这表明在回忆失败之处，约束来自模型容量而非适配。这种分离在7B时被掩盖——两种能力同时存在——只有当容量稀缺时才显现。