重温最大池网络：分析语义概率在幻觉检测的多实例学习中的作用

幻觉检测对于提高大语言模型（LLM）的可靠性变得越来越重要。最近，HaMI 等混合方法通过多实例学习 (MIL) 将语义一致性与内部模型状态结合起来，取得了最先进的性能。然而，由于重复采样和昂贵的语义相似性计算，这些方法会产生大量的计算开销。在这项工作中，我们首先在决策边际方面对 HaMI 进行了理论分析，揭示了具有语义一致性的缩放内部状态会导致决策边际扩大。受这一见解的启发，我们从边缘放大的角度重新审视经典句子分类模型，通过最大池化聚合 词元级 特征，并使用轻量级 MLP 直接估计句子分数。在不需要语义一致性计算的情况下，我们的方法实现了显着的效率提高，同时通过内部特征表示的自适应聚合保持与最先进基线的竞争性能。代码可在 https://github.com/FUJI1229/Hallucination_Detection 获取。