论文
CallBench:电话呼叫助手双目标协同基准
CallBench: A Benchmark for Dual-Goal Coordination in Phone Call Assistants
摘要
面向目标的对话系统已展现出通过交互式对话完成用户目标的强大能力。然而,现有研究主要面向单一显式目标的完成,而电话呼叫助手面对的是一种代理设定,需要协调机主显式的预设目标与来电者隐含且动态的目标。我们提出CallBench,一个用于评估电话呼叫助手双目标协同能力的中文基准。CallBench包含50,000段完整的多轮电话对话,覆盖外卖、快递、打车、工作、生活与骚扰六个场景。它涵盖常规预设、临时预设与无预设情形,并包含机主侧与来电侧目标间的多种关系,如一致、互补、无关与冲突。我们进一步设计了感知预设的轮级评估协议,覆盖语义理解、上下文利用、主动引导、回复质量、预设遵从、对话节奏与安全性。在代表性对话方法上的实验表明,现有方法仍难以胜任该任务,凸显了对能在代理约束下于两个独立目标之间做出可靠轮级决策的电话呼叫助手的需求。
