论文

DeepSAGE:面向结构化CBT咨询对话的阶段感知强化学习

DeepSAGE: Stage-Aware Reinforcement Learning for Structured CBT Counseling Dialogue

智能体系统模型训练强化学习Agent 架构与控制循环Agentic RL

摘要

基于大语言模型(LLM)的咨询智能体能生成流畅且具支持性的回复,但往往缺乏开展连贯治疗会谈所需的结构化、目标导向的推进。我们提出DeepSAGE(Strategic AI Guidance Engine),一个混合LLM—深度强化学习(DRL)框架,用于以认知行为疗法(CBT)首次会谈为基础的阶段感知咨询对话。DeepSAGE将会谈表示为十一个具有明确治疗目标的阶段,由外部控制器判定阶段完成,DRL模型选择治疗意图以引导LLM生成回复。我们将DeepSAGE与六种基于检索、提示、阶段与策略的替代方案进行对比评估。DeepSAGE激发出更高的模拟来访者投入度与开放度,并在阶段结构化系统中取得阶段目标完成度与对话效率的最佳平衡。领域专家评审进一步表明,生成的对话呈现出大体合理的情绪轨迹与可识别的CBT过程。由于评估主要依赖模拟来访者与基于模型的指标,这些发现展示的是对话控制上的比较性改进,而非临床有效性。这些结果提示,将阶段结构化对话与习得的策略选择相结合是AI咨询的一条有前景的路径,但临床有效性、安全性与现实世界效用仍需进一步的人类评估。