解锁扩散语言模型的提示填充能力

摘要

掩蔽扩散语言模型 (dLM) 通过双向去噪生成文本，但此功能对于填充提示仍然锁定。此限制是当前应用仅响应掩蔽的监督微调 (SFT) 惯例的产物。为了解锁此功能，我们在 SFT 期间扩展了全序列屏蔽，其中提示和响应都被联合屏蔽。一旦解锁，模型就会填充以少量样本为条件的提示模板的屏蔽部分。我们表明，这种模型填充的提示匹配或超越手动设计的模板，跨模型有效转移，并且是对现有提示优化方法的补充。我们的结果表明，训练实践，而不是架构限制，是阻止屏蔽扩散语言模型填充有效提示的主要瓶颈