论文

基于保形VLM生成式引导的混合决策

Hybrid Decision Making via Conformal VLM-generated Guidance

模型推理解码与生成控制

摘要

依托近期AI进展,混合决策(HDM)有望提升人类决策质量并降低认知负荷。我们在学习引导(learning to guide, LtG)的框架下开展工作,这是近期提出的一种HDM框架,其中最终决策始终由人类负责:AI不直接建议决策,而是提供有助于促进决策的(文本)引导。现有方法的一个限制因素是,其引导会堆叠关于所有可能结果的信息,因而可能难以消化。我们通过提出ConfGuide来解决这一问题,这是一种新颖的LtG方法,能生成更简洁、更有针对性的引导。为此,它利用保形风险控制(conformal risk control)选择一组结果,确保漏报率(false negative rate)有上限。我们在一个真实世界的多标签医学诊断任务上展示该方法。我们的实证评估凸显了ConfGuide的前景。

基于保形VLM生成式引导的混合决策:论文配图
图 1:解释了 ConfGuide 的功能。步骤1以图像作为输入。步骤 ii 将图像和预测作为输入并产生临床指导。在步骤iii中,医生通过图像和指导参与评估。