VERA-MH：心理健康领域伦理与负责任AI的验证

聊天机器人的使用日益增多，包括在一些并非为其设计的领域——尤其是心理健康支持。为此，我们提出VERA-MH（心理健康领域伦理与负责任AI验证），一个新颖的、经临床验证的心理健康支持场景下聊天机器人安全性评测。VERA-MH的第一期聚焦自杀意念（SI）风险，评估聊天机器人对可能处于危机中的用户的应对能力。VERA-MH由三个步骤组成：对话模拟、对话评判和模型评级。首先，为了模拟与被评测聊天机器人的对话，由另一个聊天机器人根据特定用户画像扮演用户。这些用户画像在临床指导下构建，以确保其中涵盖多种风险因素、人口学特征和披露因素等。在评判步骤中，使用第二个辅助模型作为LLM-as-a-Judge，并配合临床开发的评分细则。该评分细则被结构化为一个流程，每次仅提出一个是/否问题，以提高答案的一致性并凸显模型的失败模式。在最后阶段，汇总每场对话的结果，给出聊天机器人的最终评估。连同该框架，我们给出了对四家领先LLM提供商的评测结果。