PromptNCE：仅使用 LLM 和对比估计提示的条件概率和 PMI

从文本中估计互信息通常需要训练特定于任务的批评者，这限制了其在低数据环境中的使用。我们询问 大语言模型 是否可以仅使用提示和引出的概率来估计点状互信息零样本。我们使用 真值 PMI 从三个公开的人工注释数据集构建了基准，并评估了五个基于信息论提示的估计器。我们的主要方法 PromptNCE 将条件概率估计构建为对比任务，并使用明确的其他类别来增强候选集。 OTHER 类别允许模型在候选集之外分配概率质量，避免标准对比提示的闭集归一化。 PromptNCE 给出了所有三个数据集的最佳条件概率估计。对于完整的 PMI，我们发现估计标签基本率是三个数据集中两个数据集的主要瓶颈，最佳方法的 Spearman 相关性高达 0.78。我们还提出了计算机科学教育中的案例研究，展示了如何使用这些估计器在低数据环境中对学生知识摘要进行评分。我们发布代码和提示。