使用最小贝叶斯风险解码通过总结的共识和一致性来增强事实性

摘要

提高模型生成的摘要的质量，尤其是事实性、摘要相对于其源内容的准确性，仍然是一个挑战。虽然重新排名可以从多个生成的候选者中选择最佳输出，但它仅限于仅使用源作为指导，从而导致摘要不可靠。为了解决这个限制，我们建议 ConSUM 通过考虑两个因素对候选摘要进行重新排序：与源文档的一致性和其他候选者之间的共识。共识是通过对生成的摘要集进行最小贝叶斯风险 (MBR) 解码来建立的，同时通过采用事实感知指标将摘要与源进行比较来确保一致性。严格的测试表明，我们的系统与现有方法相比具有竞争力，人类评估进一步证实其生成的摘要优于其他系统的摘要。我们的代码可在 https://github.com/naist-nlp/ConSUM 获取。