基于自回归序列模型的条件属性估计

生成模型常用下一词元预测目标训练，但许多下游应用需要估计或控制序列级属性的能力。下一词元预测会导致训练中对局部模式的过拟合和对全局结构的欠拟合，并且在推理时引导或预测生成样本的全局属性，需要对下游进行大量改造或昂贵的采样。在此，我们提出条件属性Transformer（Conditional Attribute Transformers），一种联合估计下一词元概率以及以每个潜在下一词元选择为条件的属性值的新方法。该框架在不修改输入序列的情况下，于单次前向传播中实现三项关键能力：(1) 逐词元贡献归因——通过识别序列中每个词元与属性值的关联，覆盖整个序列；(2) 反事实分析——量化以不同下一词元选择为条件的属性差异；(3) 可引导生成——基于下一词元似然与属性似然的组合来解码序列。我们的方法在稀疏奖励任务上取得最先进性能，在足够大的模型规模下改进下一词元预测，属性概率估计比采样快数个数量级，并能在一系列语言任务上引导自回归序列模型的解码。