关于扩散模型中潜在重用的限制

扩散模型通常在低维潜在空间中进行训练，然后将其重新用于相关但移动的数据集。在这项工作中，我们研究了这种潜在的重用在分布转移下何时保持可靠。我们考虑一个源-目标设置，其中两个数据集近似低维，但可能位于不同的子空间附近。我们表明，冻结和重用源潜在空间会引起由两个量控制的目标域得分误差：源子空间和目标子空间之间的主角未对准，以及由扩散时间尺度放大的目标环境噪声。受这些限制的激励，我们进一步研究混合源-目标训练，并描述所需的共享潜在维度如何取决于两个分布的相对几何形状。我们的结果为潜在重用何时可靠以及何时可能需要学习共享表示提供了理论指导。