用自我评价的语言说话：论LLM在机器翻译中的语言化信心

大语言模型 (LLM) 翻译的流行度迅速上升，需要彻底研究他们对自己输出的信心的可靠性。与许多生成任务不同，翻译错误和置信水平在不同的粒度级别（标记、单词或跨度）都可能有用。基于预测概率等内部信号的无监督方法可能会产生误导，因为它们反映了替代方案之间的确定性而不是正确性。此外，它们还需要访问此类内部信号。在这里，我们设计了五种语言化方法来提取 LLM 的每个标记置信度，而没有这些缺点，并将它们的可靠性与模型内部确定性信号的可靠性进行比较。我们使用两种形式的对齐来评估可靠性：细粒度错误检测和校准。对于这两种方法，内部方法和语言方法的表现相似，尽管结果因模型而异。有趣的是，我们发现内部方法和语言方法之间几乎没有相关性。