通过验证器到生成器对齐改进 LLM

大语言模型 不一致：不同的提示或包含不相关的信息可能会导致模型输出出现意外变化。生成器-验证器 (G-V) 差距是这种现象的一种表现，其中 LLM 生成响应，如果重新查询以验证它们，则它们会认为这些响应无效。在这项工作中，我们引入了一种新的 G-V 一致性公式，其中涉及对话语频率的原则性校正。具体来说，生成器通常会为有效字符串分配较低的可能性，因为这些字符串先验地不太可能，这使得 G-V 一致性的幼稚概念变得行不通。我们证明，在理性代理回答具有多个答案的问题的自然模型下，验证器与频率校正生成器分数的一致性自然出现。我们的方法 \emph{\FCPAname} (\FCPA) 是一个训练目标，为现实世界的 LLM 实现频率校正的 G-V 一致性。我们的实验结果表明，与之前的方法相比，使用 \FCPA{} 进行训练大大提高了 G-V 一致性和生成器性能，IFEval 和 HumanEval 的 Pearson 相关性增益高达 $+27$pp，同时在所有评估任务中保持验证器质量。