论文
PhysEdit:通过自适应时空推理进行物理一致的区域感知图像编辑
PhysEdit: Physically-Consistent Region-Aware Image Editing via Adaptive Spatio-Temporal Reasoning
摘要
图像编辑指令是异构的:颜色交换、对象插入和物理动作编辑都需要不同的空间覆盖范围和不同的推理深度,而现有的基于推理的编辑器对每条指令应用单个固定的推理配方。我们认为沿空间和时间轴的适应性是缺失的自由度,并且我们提出了 PhysEdit,一个围绕这一原则构建的编辑框架。 PhysEdit 引入了两个推理时间模块,无需重新训练主干网络即可组合。其核心是,(1) 复杂性自适应推理深度 (CARD) 直接从指令和参考图像预测编辑复杂性,并为每个样本分配推理步骤计数 N_r 和推理词元长度 r——将先前固定的推理时间表转变为条件计算问题。 CARD 由 (2) 空间推理掩码 (SRM) 支持,该掩码从交叉注意力中提取指令条件的空间先验,将推理限制在语义上需要的区域。在完整的 737 箱 ImgEdit 基本编辑套件上,PhysEdit 在强大的推理基线上实现了 1.18 倍的挂钟加速(每个样本 64.3 秒 vs. 76.1 秒),同时略微提高了指令依从性(CLIP-T 0.2283 vs. 0.2266,+0.7%)并在噪声中匹配身份保留(CLIP-I 0.8246 vs. 0.7%)。 0.8280)。加速取决于类别,在外观级别编辑上达到 1.52 倍,验证了 CARD 的自适应分配作为效率增益的主要来源。具有完全消融的 30 个样本试点隔离了每个模块的贡献。