论文

MindChat:用于心理健康支持的隐私保护大语言模型

MindChat: A Privacy-preserving Large Language Model for Mental Health Support

模型训练合成数据

摘要

大型语言模型(LLM)在心理健康支持方面展现出前景,但训练此类模型受到真实咨询对话的稀缺性与敏感性制约。本文提出面向心理健康支持的隐私保护 LLM MindChat,以及通过多 Agent 角色扮演框架构建的合成多轮咨询数据集 MindCorpus。为合成高质量咨询数据,所开发的对话构建框架采用双闭环反馈设计,通过角色扮演将心理学专业知识与咨询技术融入其中:(i)轮级批评与修订,以提升单个会话内的连贯性与咨询适当性;(ii)会话级策略精炼,以在各会话间逐步丰富咨询师行为。为缓解去中心化数据所有权下的隐私风险,我们使用带参数高效 LoRA 适配器的联邦学习对基础模型进行微调,并引入差分隐私优化以降低成员推断与记忆化风险。在合成数据质量评估与咨询能力评测上的实验表明,MindCorpus 提升了训练效果;在自动 LLM 评审与人工评估两种协议下,MindChat 与现有通用及咨询导向 LLM 基线相比均具竞争力,同时在成员推断攻击下表现出更低的隐私泄露。

迈向基于大型语言模型的隐私保护心理健康支持 配图
图 2:所提出的多智能体协作架构。