使用 大语言模型 进行文本生成不确定性分析的正式框架

使用大语言模型（LLM）生成文本本质上是不确定的，不确定性的来源不仅在于文本的生成，还在于所使用的提示和下游解释。在这项工作中，我们提供了一个考虑到这些不同方面的不确定性测量的正式框架。我们的框架将提示、生成和解释建模为相互关联的自回归过程，可以组合成单个采样树。我们引入过滤器和目标函数来描述如何在采样树上表达不确定性的不同方面，并演示如何通过这些函数表达现有的不确定性方法。通过我们的框架，我们不仅展示了不同的方法如何在形式上相关并可以简化为共同的核心，而且还指出了尚未研究的不确定性的其他方面。