减少网格波束搜索的贪婪性

用于约束自回归文本生成模型的输出的常见形式涉及词汇约束、生成文本中需要出现的单词或短语。 DFA 约束波束搜索和网格波束搜索是两种广泛使用的范例，用于从自回归模型进行解码，同时强制执行词法约束。由于前一种方法需要大量前向传递，其数量与约束标记的数量呈指数关系，因此它通常不如后者，后者仅需要线性许多前向调用。然而，虽然网格波束搜索实现了指数加速，但它并没有平等地对待所有约束。在本文中，我们证明网格波束搜索偏向于首先包含更容易满足的约束，而将更困难的约束留在序列的末尾。这与 DFA 约束波束搜索形成鲜明对比，后者没有表现出这种偏差。为了解决这个缺点，我们提出了公平网格波束搜索，这是对网格波束搜索的修改，它避免了这种偏差，同时仍然只需要线性多次前向传递。通过实验，我们确认了网格波束搜索在两个约束生成任务上的偏差，发现与 DFA 约束波束搜索和公平网格波束搜索相比，它对约束标记的排序方式存在显着差异。此外，我们发现公平网格波束搜索不仅修复了网格波束搜索的偏差，而且在此过程中找到了更高概率的字符串。