来来回回：多模态翻译的双向扩散桥

多模态翻译（例如文本到图像）是核心生成式人工智能任务。然而，现有方法（1）遵循不直接表示源模态的生成路径，限制了某些采样算法的灵活性； (2) 是单向的，防止反转（例如图像到文本）。我们提出 BIT：双向图像文本扩散桥。与以前的方法相比，BIT 直接从文本开始并插入图像，提供（1）源感知生成路径，支持多样化和灵活的采样算法； (2) 可以从图像到文本遍历的端点条件过程，提供统一的双向生成框架。 BIT 是通过随机微积分导出的，产生适合模拟的 SDE 形式和可扩展到高维度的易于处理的损失函数。我们的实验表明，BIT 与去噪扩散和确定性流基线具有竞争力，并且在多项视觉、语言和自然科学评估中优于它们。