无声投票：通过聚合语义邻域提高零样本 LLM 可靠性

大语言模型 越来越多地用作复杂推理任务中的零样本分类器。然而，标准约束解码会遇到我们定义为重整化偏差的现象。当模型仅限于一小组目标标签时，标准 softmax 运算会丢弃分配给原始分布中语义同义词的概率质量。这种信息丢失，我们称之为“无声投票”，会导致人为的过度自信和校准不良。我们提出了 Semantic Softmax，一个推理时间层，它通过聚合每个目标标签周围的语义邻域的分数来恢复丢失的信息。我们使用 GoEmotions 和 Civil Comments 数据集在 Qwen-3 和 Phi-4-mini 模型上评估这种方法。我们的结果表明，所有评估指标均取得了一致的改进：语义 Softmax 大幅降低了预期校准误差 (ECE) 和 Brier 分数，同时增强了 AUROC 和 Macro-F1 方面的判别性能。通过考虑语言的细微差别，我们的方法为零样本分类提供了更加校准和准确的替代方案。