论文
弥合英语-阿拉伯语医学知识差距：通过因果层选择进行有针对性的低秩适应
Bridging the English-Arabic Medical Knowledge Gap: Targeted Low-Rank Adaptation via Causal Layer Selection
摘要
大语言模型 (LLM) 在英语医疗任务中表现强劲，但在阿拉伯语中表现较差，这种差距广泛归因于有限的训练数据。我们通过调谐透镜探测和因果激活修补系统地研究了这一假设，并发现阿拉伯医学知识存在于中间模型表示中，但未能在输出中浮现。这种机制洞察激发了有针对性的适应策略：我们提出了有针对性的低秩适应（TLoRA），而不是整个网络的 微调 ，仅限于跨语言表示发散的层窗口，即故障显现的输出层的上游。我们在多项选择的医疗 QA 上评估 TLoRA，我们的方法优于全网络 LoRA、零样本和少样本基线。我们在简答生成和多轮临床对话上进一步评估它，它在不需要针对特定任务的微调的情况下表现出竞争力。我们还引入了 AraClinicDialog，这是一个由临床医生在 MSA 中构建的阿拉伯语医学对话基准，其中包含四种阿拉伯语方言的经过验证的变体。这些贡献共同表明，机械诊断可以作为代表性不足的语言医学 LLM 中针对性适应的实用指南。