保留要点：通过词元删除实现高效的参考条件生成

基于参考的扩散模型通过利用输入图像中的元素来指导提示驱动的合成，从而实现高度可控的图像生成。然而，这些模型在运行时的计算成本很高，并且它们的成本随着输入引用的数量而严重增加。虽然扩散模型的效率在提示驱动生成的背景下得到了广泛的研究，但在基于参考的模型领域仍然很大程度上没有得到充分的探索。这种设置提出了仅关注生成的方法无法解决的独特挑战。特别是，将引用浪费地表示为密集的标记网格提供了重要的改进机会。在这项工作中，我们提出了稀疏上下文，一种通过仅保留参考标记的缩减子集来构建稀疏参考表示的方法。我们观察到，即使不修改模型，在推理时删除很大一部分参考标记在很大程度上保留了其生成能力。为了充分实现这一潜力，我们通过以不同比例随机丢弃词元来微调模型，从而增强对部分参考表示的鲁棒性。至关重要的是，这种训练策略将模型与任何特定的标记选择规则分离，从而允许在推理时进行灵活的控制。在推理时，我们不是随机丢弃，而是应用任务感知标记选择策略，优先考虑参考图像中信息最丰富的区域，使 词元预算 适应输入和任务要求。大量实验表明，我们的方法将多参考生成的推理速度提高了 4 倍，将单参考生成的推理速度提高了 2 倍。重要的是，这种效率是在不影响空间对齐编辑和主题驱动生成的视觉质量的情况下实现的。