论文
循环证据:跟踪驱动的客户服务优化 LLM 代理
Evidence-in-the-Loop: Trace-Driven Optimization for Customer-Service LLM Agents
摘要
生产客户服务机器人必须提高迭代版本中的答案质量,但 大语言模型 不得绕过证据边界、策略规则或人工交接保障措施。我们提出了一个部署在真实客户服务环境中的\textbf{有依据的客户服务代理工作流程}。 BM25 召回、问题标题向量召回、问题描述向量召回、加权 RRF 融合和交叉编码器重新排序为受控 LLM 决策构建基于常见问题解答的证据。然后,策略引导的编排将此 RAG 证据与特定于场景的规则证据、对话内存和固定 LangGraph DAG 内的澄清状态相结合~\cite{langgraph2024}。该论文贡献了三种可重用的部署模式:\textbf{混合 RAG 证据构建},其中多通道检索和重新排序产生可审核的常见问题解答候选; \textbf{基于证据的问题/行动决策},其中基于证据的决策模块从键入的常见问题解答证据和特定于场景的规则证据中选择问题/行动;和 \textbf{跟踪驱动的 RAG 和重排序器改进},其中跟踪诊断故障是否来自召回、排名、最终候选选择、澄清、规则导出的证据或行动策略,并且重排序器 微调 不仅评估域内收益,还评估遗忘风险。