ShopEase:基于人工智能的生成式多代理框架,使用混合检索增强生成来实现智能企业客户支持
ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation
摘要
企业客户支持系统必须正确回答客户问题,检索正确的策略信息,使用客户上下文,并在需要时将疑难案例传递给人工代理。本文介绍了 ShopEase,这是一种基于生成式人工智能的多代理框架,用于企业客户支持。该系统结合了六个组件:Intent、CRM、Memory、Hybrid RAG、Escalation 和 Supervisor,并使用通过 Ollama 在本地运行的 LLaMA 3.2 来生成响应。检索模块结合了 FAISS(密集检索)和 BM25(稀疏检索),评估了六种配置:仅 BM25、仅 FAISS、公平 RRF、加权 RRF、带交叉编码器的 RRF 和带交叉编码器的 Top-10 Hybrid。策略类别不是使用意图和策略之间的固定映射,而是直接从检索到的文档决定。该系统根据 2632 个保留的客户查询进行了评估,涉及六个类别:退款、退货、运输、取消、损坏产品和未知。仅 FAISS 实现了最高准确度 85.37%(2247 个正确预测),紧随其后的是加权 RRF,达到 85.07%。仅 BM25 仅达到 55.74% 的准确度。添加交叉编码器重新排名并没有改善结果:使用交叉编码器的 RRF 达到 83.24\%,使用交叉编码器的 Top-10 Hybrid 达到 81.88\%,同时还增加了响应延迟。类别级分析显示在运输、取消和退货方面表现强劲,而未知查询仍然是错误的主要来源。使用 McNemar 测试的统计测试表明,仅 FAISS 和加权 RRF 之间没有显着差异,尽管两者的性能都明显优于公平 RRF 和交叉编码器配置。总体而言,密集检索在此数据集上提供了最佳准确性,而额外的重新排名会增加处理时间,但不会提高分类性能。