PQR：生成多样化且现实的用户查询以引发 QA 代理失败的框架

评估基于 LLM 的代理仍然具有挑战性，因为识别有意义的故障案例通常需要大量的人力来设计实际的测试场景。先前的工作主要集中于自动发现由敌对用户引起的代理故障，而忽略了也会触发代理故障的真实用户意图的查询。我们引入了 PQR，这是一个框架，不仅可以显示代理在特定目标（例如，有用性、安全性等）方面的失败，而且还可以模拟真实用户的意图。 PQR 通过两个互补模块之间的迭代交互来运行。查询细化模块执行重写以探索不同的查询变化，而提示细化模块使用先前的反馈来导出新的违反目标的策略和现实策略来细化提示，从而生成失败触发但现实的查询。我们通过检测电子商务 QA 代理无益的响应来评估 PQR。与以前的方法相比，我们的方法发现的无用响应多了 23% - 78%，并且我们生成的查询更加多样化和现实。