通过 LLM-Elicitation 进行零样本主动特征获取

主动特征获取 (AFA) 按顺序选择要观察的特征以达成分类或排名决策。其主要局限性是依赖大量标记数据来拟合指导采集的概率模型。 大语言模型 (LLM) 提供无监督的领域知识，但顺序规划器很差。要求一个人既了解又做出决定，最好将能力混为一谈。在这里，我们通过严格的启发开发了一个零样本 AFA 的框架：仅询问 LLM 它可以信任返回的内容，一元偏差和成对共变是马尔可夫随机场 (MRF) 的充分统计数据。我们将我们的框架应用于两种设置：二元分类和 top-$k$ 识别。在实践中，LLM 可靠地仅返回区分性统计数据，区分类别而不是孤立地返回每个类别，这排除了经典 AFA。我们应用最大熵闭包来解决这种规范模糊性。我们对一组炎症性肠病 (IBD) 患者进行评估，这是一个活跃的临床环境，其中诊断模糊性和患者异质性阻碍了稳定的治疗策略。我们的框架在真实标签和它自己提取的信念上都优于 LLM。最重要的是，对于最难治的患者，我们的 top-k$ 采集策略明显优于所有现有方法。