FinBERT 对芬兰组织病理学报告的持续预训练：训练时间信号和代理下游相关性

在自然语言处理 (NLP) 分类任务中，缺乏标记数据是一个问题，在未标记数据上对 Transformer 模型进行持续预训练 (CPT) 是一种既定方法。在本文中，我们有两个目标。 (1) 我们描述了我们在芬兰组织病理学数据集上对芬兰 BERT Transformer 模型 (FinBERT) 进行持续预训练的观察结果（下图为 \emph{组织病理学数据}）。 （2）由于组织病理学数据没有分类标签，我们收集芬兰公共数据集作为代理数据，以分析（1）中观察到的信号是否与下游分类增益相关。我们观察到，CPT 训练时间损失曲线因领域而异，并且在探索性分析中，某些 CPT 派生的特征与代理分类改进相关。特别是，本报告为芬兰医疗数据 NLP 的有限文献做出了贡献。