大语言模型 中用于在线财务 QA 的数据驱动函数调用改进

大语言模型 (LLM) 已被纳入众多工业应用中。与此同时，大量的API资产分散在金融领域的各个职能部门。在线财务问答系统可以利用 LLM 和私有 API 来提供及时的财务分析和信息。关键是为LLM模型配备适合金融场景的函数调用能力。然而，通用的LLM需要定制化的金融API来调用，很难适应金融领域。此外，在线用户查询多种多样，并且与所需的函数输入参数相比包含分布外的参数，这使得通用的LLM更难以服务在线用户。在本文中，我们提出了一种数据驱动的管道，以增强 LLM 中的函数调用，用于我们的在线部署的财务 QA，包括数据集构建、数据增强和 模型训练。具体来说，我们根据之前的研究构建一个数据集，并定期更新它，结合查询和名为 AugFC 的增强方法。添加与用户查询相关的样本将以数据驱动的方式利用我们的金融工具集，并且 AugFC 探索可能的参数值以增强更新数据集的多样性。然后，我们用两步方法训练 LLM，这使得我们能够使用我们的财务功能。对现有离线数据集的广泛实验以及在线场景的部署说明了我们管道的优越性。相关流程已在中国最大的聊天平台之一元宝\footnote{https://yuanbao.tencent.com/chat/}的财务QA中采用。