LLM 函数调用的不确定性量化

大语言模型 (LLM) 越来越多地被部署来自主解决现实世界的任务。其中一个关键要素是 LLM 函数调用范例，这是一种广泛使用的为 LLM 配备工具使用功能的方法。然而，LLM 错误地调用函数可能会产生严重的影响，特别是当其影响不可逆转时，例如转账或删除数据。因此，在执行函数调用之前考虑 LLM 对函数调用正确解决任务的信心至关重要。不确定性量化 (UQ) 方法可用于量化这种置信度并防止潜在的错误函数调用。在这项工作中，据我们所知，我们提出了 LLM 函数调用 (FC) 的 UQ 方法的首次评估。虽然多样本 UQ 方法（例如语义熵）在自然语言问答任务中表现出强大的性能，但我们发现在 FC 设置中，它与简单的单样本 UQ 方法相比没有明显的优势。此外，我们发现可以利用 FC 输出的特殊性来提高现有 UQ 方法在此设置中的性能。具体来说，多样本 UQ 方法受益于基于抽象语法树解析的 FC 输出聚类，而单样本 UQ 方法可以通过在计算基于 logits 的不确定性分数时仅选择语义上有意义的标记来改进。