论文
TimpaTeks:通过扩散语言模型指导自动就地文本序列修改
TimpaTeks: Automatic In-place Text Sequence Modification via Diffusion Language Model Steering
摘要
我们将激活控制扩展到扩散语言模型(DLM),并研究了由于 DLM 的推理机制而出现的一个新问题:就地修改文本以体现不同的概念。我们提出 TimpaTeks,一种使用 DLM 的自动就地文本修改机制。对 IMDB 电影评论(情感)和合成的猫狗数据集(任意的、更非常规的概念引导)的实验表明,TimpaTeks 提供了一种可行的新颖机制来引导扩散语言模型输出就地。 TimpaTeks 实现就地修改,同时降低句子复杂度并保留原始句子结构,无需指令调整模型。 TimpaTeks 在计算上也比基于提示的 DLM 控制更便宜,因为它就地执行去噪,而不是构建额外的提示条件输出序列。