论文
Conf-Gen:生成模型的共形不确定性量化
Conf-Gen: Conformal Uncertainty Quantification for Generative Models
摘要
共形预测(CP)及其扩展,共形风险控制(CRC)是通过形式保证量化监督机器学习中的不确定性的既定框架。然而,人工智能 (AI) 最近的突破是由无监督生成模型推动的,例如 大语言模型 (LLM) 和图像生成器,它们与 CP 或 CRC 不直接兼容。在这项工作中,我们介绍了保形生成(Conf-Gen),这是一种使 CRC 适应生成任务同时放松其理论假设的通用框架。 Conf-Gen 统一并概括了之前将 CP 应用到 LLM 的尝试,并将共形方法扩展到全新的领域。我们通过一些新颖的应用程序展示了 Conf-Gen 的灵活性,包括获得以下方面的共形保证:生成非记忆图像的图像生成器、提出足够澄清问题的对话式 AI 系统以及 AI 代理的输出是正确的。