RecGPT-Mobile：设备上 大语言模型，用于淘宝 Feed 推荐中的用户意图理解

根据最近的交互行为预测用户的下一个搜索查询是现代电子商务系统中的一个关键问题，特别是在用户意图快速变化的场景中。 大语言模型（LLM）提供强大的语义推理能力，最近被用来增强下一个查询预测的训练数据构建。然而，由于移动设备的资源限制，现有应用程序部署在云服务器上，导致推理成本较高。在本文中，我们提出了 RecGPT-Mobile，这是一个设计基于 LLM 的轻量级意图理解代理的框架，以提高移动电子商务场景中的推荐质量。通过直接在移动设备上部署LLM，我们的方法可以更快地捕获用户不断变化的兴趣并实时调整推荐结果。广泛的离线分析和在线实验表明，我们的方法显着提高了推荐结果的准确性，为LLM在移动设备上的生产规模推荐系统中的部署奠定了实用的道路，以及将LLM集成到现实世界的下一个查询预测系统中的可扩展解决方案。