论文
稀疏监督稳定头像编辑的信息正则约束反演
Information-Regularized Constrained Inversion for Stable Avatar Editing from Sparse Supervision
摘要
编辑可动画的人类化身通常依赖于稀疏监督,通常是一些编辑过的关键帧,但天真地将重建的化身拟合到这些编辑中经常会导致身份泄漏和姿势相关的时间闪烁。我们认为,这些失败最好理解为病态反转:可用的编辑约束不足以确定负责预期编辑的潜在方向。我们提出了一种条件引导的编辑重建框架,该框架将编辑作为结构化化身潜在空间中的约束反转来执行,限制对低维、特定于部分的编辑子空间的更新,以防止意外的身份更改。至关重要的是,我们通过优化从完整解码和渲染管道的局部线性化导出的条件目标来设计反演期间的编辑约束,产生编辑子空间信息矩阵,其频谱预测稳定性并驱动帧重新加权/关键帧激活。由此产生的方法在小子空间矩阵上运行,并且可以有效地实现(例如,通过 Hessian 向量积),并提高了有限编辑监督下的稳定性。