论文

Prism:通过复杂意图理解降低LLM用户认知负荷

Prism: Towards Lowering User Cognitive Load in LLMs via Complex Intent Understanding

模型训练监督微调与指令调优

摘要

大语言模型正迅速成为社交平台的网页原生接口。在社交网络上,用户目标常常模糊且动态,使复杂意图理解——而非单轮执行——成为高效人机协作的基石。现有方法试图通过顺序或并行提问澄清用户意图,但未能解决核心挑战:建模澄清问题之间的逻辑依赖。受认知负荷理论启发,我们提出Prism,一个实现逻辑连贯且高效意图澄清的复杂意图理解新框架。Prism包含四个定制模块:复杂意图分解模块,把用户意图分解为更小的、结构良好的元素并识别其间逻辑依赖;逻辑澄清生成模块,基于这些依赖组织澄清问题,确保连贯、低摩擦的交互;意图感知奖励模块,通过意图感知奖励函数评估澄清轨迹的质量,并利用蒙特卡洛采样模拟用户-LLM交互,大规模生成高质量训练数据;自进化意图调优模块,通过数据驱动的反馈与优化迭代精炼LLM的逻辑澄清能力。Prism在澄清交互、意图执行与认知负荷基准上持续超越现有方法。它取得最先进的逻辑一致性,把逻辑冲突降至11.5%,用户满意度提升14.4%,任务完成时间缩短34.8%。全部数据与代码已发布。

Prism:通过复杂意图理解降低LLM用户认知负荷
图3:我们的认知负荷研究包含 20 名参与者,他们与四个匿名化模型(Mistral-Interact、ITIU、CollabLLM、Prism)交互。每位参与者被随机分配来自 TIN、IN3 或 ABP 的任务。我们测量 (a) 用户花费的时间与 (b) 对话 token 数量。参与者对 (c) 整体交互体验进行评分,并每隔两轮进行 (d) 附加评估。