论文
MIThinker:即插即用的政策优化思考者,用于动机面试咨询
MIThinker: A Plug-and-Play Policy-Optimized Thinker For Motivational Interviewing Counseling
摘要
推理 大语言模型 (LLM) 最近在解决复杂问题方面取得了很大进展,利用内部推理(或思想)来指导他们的解决方案生成。然而,现有的基于 LLM 的咨询代理,包括那些使用动机访谈 (MI) 的咨询代理,在没有明确地将想法与咨询技术结合起来的情况下生成答复,从而限制了其有效性。我们提出了 MIThinker,这是一种轻量级思维模型,可以生成治疗思想来指导 MI 咨询人员进行策略选择和响应生成。为了克服缺乏带注释的思想数据的问题,我们引入了 AugR1-MI,这是一个自动化管道,可以根据观察到的反应对辅导员的想法进行逆向工程。通过结合监督 微调 和强化学习的两阶段训练,MIThinker 展示了改进的心理理论评估和策略调整。综合评估表明,我们利用 MIThinker 的代理 MindfulMI 实现了与最先进系统相当的 MI 能力,但计算量却少了一个数量级。