小语言模型能否判断自身不确定性：比较词元熵与语义熵

本文检验能否利用基于熵的置信度信号，提高在消费级硬件上运行、参数少于30亿的小语言模型（SLM）的准确率。研究在7组模型配对和5项标准自然语言理解基准上比较7种方法，包括词元级熵提前停止、语义熵估计和根据不确定性路由至更大专家模型。主要发现是词元级熵在所测小模型中几乎无法区分对错：91%的数据集—模型组合中，无论回答是否正确，平均词元熵均接近零，因此这一规模下该信号不可用。通过多次生成、按含义聚类回答并衡量分布不确定性，语义熵恢复了有效置信度信号。用它把不确定查询选择性转给更大专家模型，准确率最多提高50个百分点。跨模型家族路由（如SmolLM 360M到Phi-3.5-mini）平均提高22.0%，同家族路由平均提高6.8%，显示专家模型质量比架构兼容性更重要。研究认为，这类方法对小模型的价值主要是合理分配计算，在更需要的地方使用更多词元，而非单纯节省计算。