论文

RSPC:使用精神病学家注释对数字中介关系中的压力和精神疾病进行建模的基准

RSPC: A Benchmark for Modeling Stress and Psychiatric Conditions in Digitally Mediated Relationships using Psychiatrist Annotations

模型评测基准与评测资源

摘要

在 NLP 中,心理健康状况通常被建模为孤立的现象,没有人际背景。我们使用 Reddit 上有关远距离关系的帖子来捕捉心理健康困扰和相关的关系触发因素。我们介绍了关系压力和精神病学语料库 (RSPC),其中包含由精神病学家注释的 1,799 个 Reddit 帖子,用于诊断类别,包括最常见的情绪障碍(焦虑和抑郁)、关系压力源触发因素以及关系阶段的迹象。我们在多标签障碍分类、关系触发检测和时相预测任务中对七个微调的 Transformer 模型和五个 大语言模型 进行了基准测试。我们发现模型家族之间存在明显的任务依赖性差异,Claude-3-Haiku 实现了最佳的障碍分类性能(Macro-F1 = 0.538),GPT-4o 获得了最强的关系触发检测性能(Macro-F1 = 0.519),这表明模型能力不同。我们进一步发现焦虑症和长期关系不确定性之间存在很强的关联。总体而言,RSPC 为 NLP 任务建立了一个基准,考虑关系情境,并支持从以个人为中心到情境感知的心理健康模型的转变,捕捉痛苦的社会和时间动态。