LLM 中针对心理健康的检索增强生成：量化分层安全架构中检索的增量贡献

数字心理健康干预措施 (DMHI) 提供可扩展的支持，但确保它们在不稳定情况下准确检测用户的意图可能具有挑战性。纯参数 大语言模型 (LLM) 不包含特定的安全关键架构，并且可能会错过关键线索或产生幻觉，从而破坏可靠性。检索增强生成 (RAG) 通过检索上下文补充 LLM，可以增强不稳定情况下的意图检测。商用 DMHI 通常结合多个独立的安全层，例如基于规则的过滤器、符号升级协议和神经分类。然而，任何单层的增量贡献仍然无法量化。本文通过对启用 RAG 与禁用 RAG 的模式进行受控比较，评估了名为 Wysa 的 DMHI 中的六个 LLM 模型。合格的临床团队针对多类意图类别（例如自残、虐待、恐慌）对匿名的真实和合成的用户聊天机器人交换进行了注释。该研究根据 真值 标签计算分类准确度、召回率、精确度和 F1 分数，并测试差异的统计显着性。性能还通过风险类别和模型间协议进行了检查。虽然 RAG 导致误报增加，但这种权衡符合优先考虑敏感性的安全关键设计原则，其中标记的案例将被路由到额外审查，而不是直接采取行动。总的来说，这些发现支持 RAG 作为一种有前景的方法来提高 LLM 驱动的 DMHI 的准确性、一致性和安全性。关键词：数字心理健康干预、大语言模型、检索增强生成、准确性、召回率、精确度