评估个人心理健康评估的文档调整 Transformer 表示

个人层面的心理评估需要汇总来自同一个人的许多信息的含义，而文档层面的训练目标并未明确设计这一任务。我们在其他相同的条件下，对架构上匹配的传统 (a) 基本 Transformer 和 (b) 文档调整的 Transformer（在文档级别进一步进行对比微调，有时称为“句子 Transformer”）之间进行了系统的、实证的比较。比较两个纵向心理健康和心理数据集的分层和整体表现，我们发现文档调整模型表现出相对于基本表示的一致改进（Pearson r 增加了 13.4%，p=.015）。稳健性分析表明，文档调整模型在单词删除、同义词替换、拼写错误注入和反向翻译的干扰下仍然更加准确。此外，对冲语言（例如“通常”）更能体现文档调整嵌入结果的特征，而丰富性（例如“很多”）更能体现基础 Transformer 的特征，这表明文档调整模型可以更好地捕捉不确定性。这些结果表明表征选择会影响心理健康预测，文档调整的模型通常更适合。