使用公平竞争环境评估原则的受控文本生成系统的比较研究

背景：近年来，人们提出了许多不同的受控文本生成（CTG）方法，但很难清楚地了解哪种方法表现最好，因为每种情况下都使用不同的数据集和评估方法来评估所实现的控制。目标：我们在本文中报告的工作的目的是开发一种评估方法，使我们能够以对各个系统既提供信息又公平的方式比较评估不同的 CTG 系统。方法：我们使用公平竞争环境（LPF）方法进行比较评估，其中（i）以标准化方式生成和处理所有系统输出，以及（ii）应用根据当前使用的评估方法和数据集选择的一组共享评估方法和数据集，以确保公平评估。结果：以这种方式重新评估时，一组代表性的当前 CTG 系统的性能结果与最初报告的结果有很大差异，在大多数情况下甚至更糟。这凸显了评估受控生成的共享标准化方法的重要性。结论：LPF 评估所揭示的差异表明 CTG 迫切需要标准化、可重复的评估实践。我们的结果表明，如果没有这种做法，发布的性能声明可能会严重歪曲真实的系统功能。