注意看不见的质量：通过软混合字母估计揭露 LLM 幻觉

本文研究了黑盒访问下 大语言模型 (LLM) 的不确定性量化，其中每个查询只能采样少量响应。在这种情况下，估计有效语义字母表的大小（即采样响应中表达的不同含义的数量）为下游风险提供了有用的代理。然而，当样本量较小时，基于频率的估计器往往会低估罕见的语义模式，而单独的图谱量并不能准确地估计语义占用率。为了解决这个问题，我们提出了 SHADE（软混合字母动态估计器），这是一种简单且可解释的估计器，它将广义 Good-Turing 覆盖范围与根据采样响应的蕴涵加权图构建的归一化拉普拉斯热核轨迹相结合。估计的覆盖范围自适应地确定融合规则：在高覆盖范围下，SHADE 使用两个信号的凸组合，而在低覆盖范围下，它应用 LogSumExp 融合来强调缺失或弱观察的语义模式。然后引入有限样本校正来稳定所得到的基数估计，然后将其转换为覆盖范围调整的语义熵分数。针对大样本参考的合并语义字母大小估计和 QA 错误检测的实验表明，SHADE 在样本最有限的情况下实现了最强的改进，而性能差距随着样本数量的增加而缩小。这些结果表明，当黑盒不确定性量化必须在严格的采样预算下运行时，混合语义占用估计特别有益。