论文
ClinicalEncoder26AM：多语言可诊断 ColBERT 模型；来自 MultiClinNER 共享任务的证据
ClinicalEncoder26AM: A Multlilingual Diagnosable ColBERT Model; Evidences from the MultiClinNER Shared Task
摘要
ClinicalEncoder26AM 是一种用于临床和生物医学文本的多语言可诊断 ColBERT，它在多个级别上将其 词元级 语义与 ClinicalMap25 对齐，ClinicalMap25 是一个受 BioLORD-2023 启发的临床潜在空间，并通过合成和注释监督进行丰富。 后训练 配方基于 BGE-M3 构建，结合了综合临床记录、患者与医生对话以及 MedMentions 等带注释的资源，同时考虑多适配器 蒸馏 中的命名实体级和句子级表示以及 ColBERT 风格的检索目标。在这篇系统演示论文中，我们评估了 MultiClinNER 共享任务中的模型，将其微调为患者症状、疾病和手术跨度的 BIO 标记器，并使用轻量级两层 CNN 头来改进局部边界检测。最终的系统仍然很简单，在单个 8192 个词元窗口中处理大多数文档，并实现最先进的多语言实体召回，同时在字符加权 F1 分数中在所有实体类型和语言中总体排名前 5。训练曲线进一步表明，ClinicalEncoder26AM 的数据效率明显高于基础 M3 模型，支持其临床 后训练 在下游信息提取中的有用性。该模型可以在 https://huggingface.co/Parallia/ClinicalEncoder26AM-Diagnosable-Colbert-L2-for-multilingual-medical-texts 上下载