多模态数据的生成分数推断

准确的不确定性量化对于在各种监督学习场景中做出可靠的决策至关重要，特别是在处理图像和文本等复杂的多模态数据时。当前的方法通常面临显着的局限性，包括严格的假设和有限的普遍性，限制了它们在不同监督学习任务中的有效性。为了克服这些限制，我们引入了生成分数推理（GSI），这是一种灵活的推理框架，能够跨各种多模态学习问题构建统计上有效且信息丰富的预测和置信集。 GSI 利用深度生成模型生成的合成样本来近似条件分数分布，促进精确的不确定性量化，而不会对数据或任务施加限制性假设。我们通过两个代表性场景实证验证 GSI 的功能：大语言模型 中的幻觉检测和图像字幕中的不确定性估计。我们的方法在幻觉检测和图像字幕中稳健的预测不确定性方面实现了最先进的性能，并且其性能受到底层生成模型质量的积极影响。这些发现强调了 GSI 作为多功能推理框架的潜力，显着增强多模态学习中的不确定性量化和可信度。