开放式自洽表示空间协议

自一致性通过对多个输出进行采样并选择最一致的答案来改进 LLM 推理，但现有的公式在很大程度上依赖于精确匹配，因此仍然仅限于具有分类输出的任务。在这项工作中，我们研究了开放式生成任务（例如代码合成和文本摘要）中的自洽性。我们假设一致性可以理解为生成空间的几何属性，其中语义兼容的生成集中在表示空间的相似区域中。为了研究这个假设，我们引入了基于嵌入的一致性（EBA），这是一种简单的 无需训练 操作化，它通过在嵌入空间中对采样代进行聚类来估计一致性。通过数学推理、代码生成和摘要的实验，我们表明表示空间中的一致性为开放式任务提供了鲁棒且可扩展的自我一致性信号。特别是，EBA 始终优于随机选择，并且比最近基于 LLM 评估或不确定性估计的选择方法表现出更稳定的缩放行为。我们进一步表明，即使使用本机隐藏表示，这些一致性信号在模型系列和嵌入空间中仍然保持稳定。最后，我们的分析表明，采样代所占据的几何位置与生成质量密切相关：集中在表示空间中心区域附近的代往往对应于更可靠的输出，而外围代的准确度则要低得多。总体而言，我们的研究结果支持将自我一致性视为采样代的几何组织的属性，而不是精确的符号重叠。