精炼快速嵌入转移 (DRET)：通过基于优先级的嵌入转移进行参数高效的生物医学领域适应
Distilled Rapid Embedding Transfer (DRET): Parameter-Efficient Biomedical Domain Adaptation via Priority-Based Embedding Transfer
摘要
BioBERT 和 ClinicalBERT 等大型特定领域语言模型在生物医学 NLP 任务上实现了强大的性能，但它们的计算需求使得它们对于许多现实世界的部署来说不切实际。 DistilBERT 等通用、参数高效的模型是轻量级的，但缺乏 PICO（群体、干预、比较、结果）分类等专门任务所需的领域知识。我们引入了蒸馏快速嵌入转移（DRET），这是一种知识转移范式，它将生物医学领域知识从大型专业模型注入到较小的通用模型中，而无需对原始专业语料库进行重新训练。 DRET 被开发为一个迭代策略系列：统一的分词器合并策略 (DRET 1.x)、混合嵌入平均 (DRET 2.0) 和基于优先级的嵌入传输机制 (DRET 3.x)，该机制从最权威的源模型中分层选择嵌入，进一步与嵌入层冻结、差异学习率、标签传播和不平衡感知损失函数 (DRET) 相结合4.x）。我们在严重类别不平衡的情况下使用 EBM-NLP 语料库在 词元级 PICO 分类上评估 DRET，跨十二个度量电池。 DRET 增强的 DistilBERT（66M 参数）实现了平衡的准确率、召回率和 ROC-AUC，并且在几个类别指标上，模型的竞争力超过了模型的一个数量级，同时保留了 DistilBERT 的效率。我们通过余弦相似性、语义转移和 t-SNE 分析进一步表明迁移发生在嵌入级别。 DRET 为生物医学文本挖掘提供了一种可扩展、资源高效的途径，可实现近领域专家的性能，并直接应用于自动化系统文献综述和临床决策支持。