论文

Controlla:通过图约束的潜在几何学习可控性

Controlla: Learning Controllability via Graph-Constrained Latent Geometry

应用与实践内容创作

摘要

可控多模态生成通常被表述为使用提示、指导或辅助模块的推理时间调节问题。虽然有效,但此类方法并未明确构建语义属性如何演变,这可能导致身份漂移和不一致的跨模式行为。我们提出了 Controlla,一个模块化因式分解控制框架,它将可控性视为结构化潜在几何的属性。 Controlla 从多模态输入中学习身份和属性因素,并使用图约束的最佳传输将它们与图先验对齐,鼓励属性遵循图一致的轨迹,同时保留参考身份。为了评估此设置,我们构建了 AffectHuman-43K,这是一个用于基于参考的情感控制的泄漏感知多模态基准,并引入了用于轨迹一致性和潜在解缠的几何感知指标。实验表明,可控性、身份保存和跨模式对齐方面得到了一致的改进,并对图的敏感性、可扩展性和鲁棒性进行了额外的分析。