论文
噪声通道最小贝叶斯风险解码
Noisy-Channel Minimum Bayes Risk Decoding
摘要
通过选择最大化采样伪参考的预期效用的假设,最小贝叶斯风险 (MBR) 解码比最大后验 (MAP) 解码产生更稳健和更高质量的文本生成。然而,设计中存在差异:假设选择根据给定的伪参考计算预期效用分数,而常用的评估指标(例如 BLEU 和 COMET)是不对称的。因此,考虑假设对参考和参考对假设的方向效应非常重要。在这项研究中,我们引入了 MBR 解码的噪声通道分解,它自然地结合了双向效应来解释这些不对称性。我们将 MBR 解码分解为四个相互作用的部分:假设到参考似然、参考到假设似然、假设先验和参考先验。这种分解提供了对现有 MBR 变体的统一解释,并通过隔离每个通道的贡献来实现特定于指标和任务的可解释性。我们的综合分析表明,通道方面的贡献在各个指标上表现出明显的特征,同时在各个任务之间保持一致,并表明适当的通道权重可能会导致对原始 MBR 解码的改进。