论文
在Bluesky上构建可信心理健康基准:验证感知的弱监督框架
Building Trustworthy Mental Health Benchmarks on Bluesky: A Validation-Aware Weak-Supervision Framework
摘要
去中心化社交媒体平台为计算心理健康研究带来新机遇与挑战,因为数据访问、审核、标注与部署责任分布在多个技术与治理层级。本文提出一个验证感知的弱监督系统,用于在基于AT Protocol的去中心化社交平台Bluesky上构建与评估自杀意念(SI)及更广泛心理健康(MH)披露基准。该系统集成公开firehose采集、任务特定词典过滤、Llama-3-8B辅助二值标注、人工裁决验证子集与基于Transformer的模型基准测试。利用该流水线,我们构建了两个任务语料库,含8346条SI标注帖与9988条MH标注帖。评估显示,模型表现强烈依赖任务定义与验证协议:BERT+LSTM取得最高的SI分层交叉验证F1,RoBERTa取得最强的SI留出集F1,DistilRoBERTa取得最佳的MH交叉验证F1。人工验证揭示不同任务的弱标签失效模式各异:SI标签以假阴性为主,MH标签以假阳性为主。这些发现表明,去中心化社交媒体能够支持可复现的心理健康基准构建,但前提是将系统设计、标签出处、验证策略与部署约束作为一个整体加以评估。
