SERC：LDPC 启发的检索增强生成语义纠错

虽然 大语言模型 (LLM) 表现出了非凡的能力，但其可靠性因幻觉而受到严重损害。现有的内在自我校正方法试图解决这个问题，但常常由于自我偏差而失败，即模型在没有外部验证的情况下很难识别自己输出中的错误。为了克服这些限制，我们提出了受 LDPC 启发的检索增强生成语义纠错（SERC），为解释和减轻 LLM 幻觉提供了一个理论框架。我们将文本生成过程重新表述为语义噪声通道，将生成的响应视为噪声损坏的码字。受低密度奇偶校验（LDPC）码的启发，SERC 采用稀疏验证策略：它不是详尽地检查所有事实，而是生成低密度验证查询并根据外部证据对其进行验证，以有效地检测和纠正错误。我们使用 Llama-3-8B 和 Qwen2.5-14B 在 LongForm Bio 和 TruthfulQA 基准上评估 SERC。实验结果表明，SERC 的性能优于内在的自我校正方法和强大的检索增强基线，特别是在事实精度 (FactScore) 方面表现出显着的进步。值得注意的是，SERC 使小语言模型 (SLM) 在减少幻觉和信息保存方面超越了较大基线的性能。我们的研究结果表明，SERC 提供了一种与模型无关的 无需训练 解决方案，与密集方法相比，该解决方案可显着降低验证开销，从而在资源受限的环境中实现成本和保真度之间的最佳权衡。