论文
TRACE:可信检索增强对话引擎
TRACE: Trustworthy Retrieval-Augmented Conversational Engine
摘要
公共服务聊天机器人需要基于底层的公共服务目录给出推荐,同时确保推荐尊重用户显式约束。实践中,公共服务目录嘈杂且不一致,通用大语言模型(LLM)或基于AI的聊天机器人频繁生成不可靠的推荐,引用来自网络的未经验证的来源。我们研究检索质量对构建于嘈杂异构服务目录之上的公共服务对话系统中约束感知推荐的影响。我们提出TRACE(Trustworthy Retrieval-Augmented Conversational Engine),一个基于检索、感知约束的框架,借助双重数据表示模式,将输入用户查询解析为供下游检索使用的结构与语义约束。利用精心整理的全州食品救济站目录和合成查询基准,我们评估了带与不带知识图谱(KG)的多种知识表示变体。我们用多个开源LLM和一个专有模型做实验,结果表明强化检索能大幅提升用户约束满足度,同时减少幻觉推荐。实验中随着检索质量提升,LLM之间的性能差异收窄,结果对模型规模的敏感度降低。这些发现表明,检索质量是构建健壮公共服务对话系统的关键。
