简化自然语言中任意条件的建模

因果 Transformer 模型通过联合分布的自回归分解进行序列化，从而实现高效的从左到右解码和条件似然计算。然而，它们无法轻松地从任意条件中采样或评估——例如，以过去和未来标记为条件的文本块。最近的工作旨在通过新颖的架构来解决这个问题，但它们通常会导致此类条件的次优建模和退化的生成。我们提出了任意条件 GPT (AC-GPT)，它引入了对标准因果 Transformer 的简单修改，以便能够在单个前向传递中对任意条件（包括过去、未来和混合上下文）进行评估和采样。与之前的方法不同，我们的方法保留了标准的从左到右排序和下一个标记预测目标，这对于自然语言的强大性能和高效训练至关重要。至关重要的是，这种兼容性允许对现有的 LLM 进行微调以进行任意调节。我们的实证结果表明，我们的方法在建模任意条件方面优于基线，而不会降低标准的从左到右的性能。