Reviser：通过自回归光标操作生成可修订的文本

可修改的生成很有吸引力，因为它可以插入或修改早期的内容，但许多非自回归和基于编辑的方法通过重复的序列级计算获得这种灵活性。我们提出了 Reviser，一个仅解码器的 Transformer，它在可变画布上生成响应作为一系列与光标相关的操作。在每一步中，Reviser 都会准确预测一个操作标记：INSERT(token)、MOVE($\Delta$) 或 STOP，并且对编辑历史操作而不是最终文本顺序进行自回归。这种设计能够实现真正的非单调生成，同时保留简单的下一步操作界面。在连续基准测试中，Reviser 在我们的竞技场评估中比 SEDD 和 MDLM 更受欢迎，并且轨迹统计数据证实该模型执行频繁的向后移动和中间画布插入，而不仅仅是模拟末尾附加解码。与尺寸匹配的自回归基线相比，Reviser 在 100M 和 300M 尺度上都具有竞争力。根据我们共享的 FLOPs 约定，Reviser 所需的推理计算量也比代表性的多通道细化和扩散式基线少得多。