超越表面统计：通过内部表示对 LLM 进行稳健的共形预测

大语言模型 越来越多地部署在可靠性很重要的环境中，但输出级不确定性信号（例如词元概率、熵和自一致性）在校准（部署不匹配）下可能会变得脆弱。保形预测在可交换性下提供有限样本有效性，但其实际用途取决于不合格分数的质量。我们为 LLM 问答提出了一个共形框架，它使用内部表示而不是面向输出的统计数据：具体来说，我们引入了逐层信息（LI）分数，它测量输入条件如何在模型深度上重塑预测熵，并将它们用作标准分割共形管道中的不合格分数。在封闭式和开放域的 QA 基准测试中，我们的方法在跨域转移下获得了最明显的收益，与强大的文本级基线相比，我们的方法实现了更好的有效性-效率权衡，同时在相同的名义风险水平下保持了有竞争力的域内可靠性。这些结果表明，当表面水平不确定性在分布偏移下不稳定时，内部表示可以提供更多信息的共形分数。