论文
通过强化学习探索函数调用模型的弱点：一种对抗数据增强方法
Exploring Weaknesses in Function Call Models via Reinforcement Learning: An Adversarial Data Augmentation Approach
摘要
函数调用能力已成为大语言模型（LLM）的关键能力，使其能更有效地与外部工具和API交互。现有的提升LLM函数调用能力的方法依赖人工标注或模型自动生成的数据，并用这些数据微调LLM。然而，这些方法往往缺乏针对性设计，受制于固定模式和数据分布，限制了其在提升函数调用LLM泛化性与鲁棒性方面的效果。为解决这一局限，我们提出一种新颖的对抗数据增强方法，利用强化学习系统地识别并针对函数调用LLM的弱点。我们的训练框架引入一个用强化学习（RL）训练的查询模型，生成专门为挑战函数调用（FC）模型而设计的对抗查询。该方法采用零和博弈形式化，其中查询模型与FC模型进行迭代交替训练。总体而言，我们的方法推动了更鲁棒FC模型的发展，并提供了一种系统识别和纠正LLM与外部工具交互能力弱点的方法。
