论文

分类感知医学语言模型适应的条件秩分配

Conditional Rank Allocation for Taxonomy-Aware Medical Language Model Adaptation

模型训练参数高效训练

摘要

医学问答跨越专业和临床操作,可能受益于不同的适应方向。我们提出了 ARBOR,一种参数高效方法,它从每个问题的共享低秩基础中选择秩一的组件。附加门结合了问题表示、专业标签、操作标签及其交互;学习的系数可缩放适配器残差。正交、等概率子任务下的说明性分离显示了条件选择如何避免具有相同活动秩的固定更新所面临的近似下限。这一结果激励了设计,但没有断言医疗语料库的相应界限。在 CMB、CMExam、MedQA 和 MedMCQA 的 Qwen3-8B 上,五种子实验在基准测试中的平均准确度为 69.69%,分别超过 LoRA r16 和 MoELoRA 1.26 和 1.30 个百分点。随着训练从 1 个专业扩展到 7 个专业,报告的相对于 LoRA r16 的优势从 0.08 点增加到 1.94 点。标签扰动和原子掩蔽支持临床路由的有用性,而原子簇与提供的专业标签一致(调整后的兰德指数 0.62)。校准、传输和测量成本进一步表征了该方法。这些发现支持医疗质量保证的结构化条件适应,同时使临床安全性和更广泛的部署未经测试。