论文
MHDash:心理健康感知AI助手基准测试在线平台
MHDash: An Online Platform for Benchmarking Mental Health-Aware AI Assistants
摘要
大语言模型(LLM)日益应用于心理健康支持系统,其中对自杀意念与自我伤害等高风险状态的可靠识别是安全攸关的。然而,现有评估主要依赖聚合性能指标,这常掩盖特定风险的失败模式,对模型在真实多轮交互中的行为提供的洞见有限。我们提出MHDash,一个旨在支持心理健康应用AI系统开发、评估与审计的开源平台。MHDash将数据收集、结构化标注、多轮对话生成与基线评估整合为统一流水线。平台支持跨多个维度的标注,包括关注类型、风险等级与对话意图,支持细粒度、风险感知的分析。我们的结果揭示若干关键发现:(i)简单基线与先进LLM API整体准确率相当,但在高风险案例上分歧显著;(ii)部分LLM在序数严重度排序上保持一致,却在绝对风险分类上失败,而另一些模型聚合分数尚可但在严重类别上假阴性率偏高;(iii)性能差距在多轮对话中被放大,因为风险信号是逐渐显现的。这些观察表明,传统基准不足以支撑安全攸关的心理健康场景。通过以开源平台形式发布MHDash,我们旨在促进心理健康支持AI系统的可复现研究、透明评估与安全导向开发。
