Transformer 未胜过六项协变量：童年散文的长期抑郁预测

自然语言处理 (NLP) 模型可以检测在测量症状时所写的文本中与抑郁症相关的语言，但预训练的 Transformer 是否可以根据 12 年前所写的文本来预测抑郁症状很大程度上未经测试。在英国出生队列国家儿童发展研究中，我们根据同一个人在 11 岁时写的文章来预测 23 岁时可能出现的抑郁症状。我们的基线是六个童年协变量的逻辑回归，优于每个只看到文章的文本模型：七个微调 Transformer、一个词袋模型、冻结嵌入和四个零样本大语言模型。其接收器操作特征曲线下的面积 (AUC-ROC) 为 0.737，而初级种子上最佳Transformer的面积为 0.670，并且没有添加的文本分数可检测到提高基线的 AUC-ROC。经过 Bonferroni 校正后，五个域预训练的 Transformer 都没有明显优于其通用域控制。对于长期预测，基线仍然是需要击败的模型。