4D-HOF：以流匹配重建手与对象的四维交互

现有的 4D 手部物体重建方法通常依赖于成本高昂的每个序列优化，而生成方法通常从随机噪声中合成交互，这可能导致交互预测不稳定。我们引入了 4D-HOF，这是一种前馈框架，可以根据视觉基础模型生成的粗略但信息丰富的估计来重建 4D 手部物体交互。具体来说，我们学习了一种条件流匹配模型，该模型将基础模型派生的手部对象状态传输到交互流形，从而允许模型以前馈方式纠正平移、旋转和对齐中的错误。我们的生成公式的一个关键优势是它自然地能够在运输过程中实现测试时指导。我们没有在重建后应用单独的事后优化，而是使用物理交互约束和观察到的二维证据直接引导不断演变的生成状态，从而允许重建作为生成过程本身的一部分进行细化。通过训练在不同数据集上的生成模型，4D-HOF 可以稳健地推广到具有挑战性的野外场景。域外基准测试表明 4D-HOF 实现了最先进的性能，产生更稳定、更准确的 4D 手部物体重建。