论文
用于跨基准医学问答的临床结构化秩门控 LoRA
Clinically Structured Rank-Gated LoRA for Cross-Benchmark Medical Question Answering
摘要
医学多项选择题回答需要跨异构知识领域和推理操作的参数有效适应。药物问题、诊断决策、公共卫生项目和护理行动项目可能需要不同的低秩更新,而一些回忆项目应该仅通过轻微的适配器干预来保留基本模型的表示。我们提出 BiRG-LoRA,一种用于医学问答的单适配器排序门控 LoRA 方法。 BiRG-LoRA 为每个目标层保留一个 LoRA 模块,但使其等级维度以输入为条件:对于每个问题,双轴门将隐藏的语义证据与专业/职业先验、临床操作先验及其相互作用相结合,以选择稀疏的 top-$k$ 等级原子子集。标量注入系数进一步控制所选适配器更新的强度。在匹配的 Qwen3-8B CMB 源协议下,BiRG-LoRA 在可训练的 PEFT 基线和匹配的路由控制中实现了最高的四基准宏平均精度:在 CMB、CMExam、MedQA 和 MedMCQA 上的平均精度为 69.31%。它比 MoELoRA 提高了 0.89 个百分点,同时使用的可训练参数减少了 28.1%;最终预测的配对基准分层引导程序给出了该宏观平均增益的 95% 置信区间 [0.42, 1.37]。基本控制表明,BiRG-LoRA 还比普通 LoRA r16 和主动排序匹配的 LoRA r4 提高了 0.83 个宏观点,并且评估时间弱轴扰动检查表明,性能对于中等标签噪声并不脆弱。结果支持了一个有限的主张:临床结构化的排名分配改善了匹配的单种子协议下的跨基准医学质量保证,而训练种子方差仍然是未来的工作。