论文
基于 LLM 的模式感知分割学习，用于跨异构调查的隐私保护精神困扰预测
LLM-Based Schema-Aware Split Learning for Privacy-Preserving Mental Distress Prediction Across Heterogeneous Surveys
摘要
社会和生活方式的日益复杂化与全球范围内精神困扰的日益普遍有关。教育机构、工作场所、诊所等收集了大量的心理健康调查数据，以了解和减轻这种负担。对此类数据的协作分析可以产生有效的通用预测模型。隐私限制和不同的调查设计（即不同的问题、规模和格式）阻碍了直接整合。我们提出了一种保护隐私的模式感知分割学习（SL）框架，使用大型语言模型（LLM）作为共享语义编码器来协调跨机构的异构调查模式。我们将每个调查记录序列化为自然语言描述，将不同的调查模式统一为通用格式。大语言模型通过低秩适应（LoRA）针对精神困扰评估进行了微调，并在客户端和服务器之间进行了分区。客户在本地保留原始调查回复，并且仅运行轻量级前端，因此原始记录永远不会离开收集它们的机构。资源密集型主干在服务器上运行，最大限度地减少客户端计算。使用 LLaMA-3.2-3B-Instruct，该框架仅用 2,000 个训练样本即可获得 0.708 的平均 ANLS，在九个设置中的八个中超过联邦学习 (FL)，并将每个客户端的计算量减少三个数量级，同时推广到未见过的数据集。总体而言，它可以从异构心理健康调查数据中实现准确、保护隐私和资源高效的协作学习。