通过幻觉拒绝采样构建可靠的长格式生成

大语言模型 (LLM) 在开放式文本生成方面取得了显着进展，但它们仍然容易产生不正确或不受支持的内容，这损害了它们的可靠性。由于幻觉滚雪球，这个问题在长格式生成中更加严重，这是一种早期错误传播并复合到后续输出中的现象。为了应对这一挑战，我们提出了一种新颖的推理时间幻觉缓解框架，名为分段幻觉拒绝采样（SHARS），它使用任意幻觉检测器在生成和重新采样期间识别和拒绝幻觉片段，直到产生忠实的内容。通过仅保留可信信息并以此为基础构建后代，该框架减少了幻觉积累并增强了事实一致性。为了实例化这个框架，我们采用语义不确定性作为检测器，并引入一些重要的修改来解决其局限性并更好地使其适应长格式文本。我们的方法使模型能够自我纠正幻觉，而不需要网络搜索或知识库等外部资源，同时保持与它们的兼容性以供将来的扩展。对标准化幻觉基准的实证评估表明，我们的方法大大减少了长形式生成中的幻觉，同时保留甚至提高了生成的信息量。代码位于：https://github.com/TreeLLi/hallucination-rejection-sampling。