论文
面向可靠大语言模型代理的可简化不确定性建模
Towards Reducible Uncertainty Modeling for Reliable Large Language Model Agents
摘要
大语言模型 (LLM) 的不确定性量化 (UQ) 是日常 LLM 应用安全护栏的关键构建块。然而，尽管 LLM 代理越来越多地部署在高度复杂的任务中，但大多数昆士兰大学研究仍然集中在单轮问答上。我们认为昆士兰大学的研究必须转向具有交互式代理的现实环境，并且需要一个新的昆士兰大学代理原则框架。本文提出了代理 UQ 的第一个通用公式，其中包含了现有 UQ 设置的广泛类别。在这个表述下，我们表明，先前的工作隐含地将 LLM UQ 视为一个不确定性积累过程，这种观点对于开放世界中的交互代理来说是站不住脚的。相比之下，我们提出了一种新颖的视角，即条件不确定性减少过程，通过强调动作的“交互性”来明确地模拟代理轨迹上可减少的不确定性。从这个角度来看，我们概述了一个概念框架，为在 LLM 代理设置中设计 UQ 提供可操作的指导。最后，我们总结了代理 UQ 在前沿 LLM 开发和特定领域应用中的实际影响，以及尚未解决的问题。
