论文

PPDL:基于 LLM 的流程作为概率程序

PPDL: LLM-Based Flows as Probabilistic Programs

AI 基础设施AI 开发与运维平台

摘要

构建利用 大语言模型 (LLM) 的可靠应用程序仍然是一项重大挑战。虽然 LLM 在不同的任务中提供令人印象深刻的功能,但它们的输出通常缺乏准确性,并且无法提供明确的置信度衡量标准。这种不确定性加剧了对 LLM 和其他工具的多次调用流程,使开发人员和最终用户难以信任结果。本文介绍了一种用于对基于 LLM 的流进行编程的概率语言。它使开发人员能够在整个应用程序流程中量化和传播不确定性,并尝试不同的推理扩展技术,而无需在流程逻辑之外添加一行代码。我们提出了一项实验研究来证明这种能力,并进行了一个为 Rocq 定理证明者构建定理证明代理的案例研究。