ArtHOI：驯服用于单眼 4D 重建手关节物体交互的基础模型

现有的手-物体交互（HOI）方法很大程度上局限于刚性物体，而铰接物体的4D重建方法通常需要预扫描物体甚至多视图视频。从单个单眼 RGB 视频重建 4D 人体关节-物体交互仍然是一个尚未探索但重大的挑战。幸运的是，基础模型的最新进展为解决这个高度不适定的问题提供了新的机会。为此，我们引入了 ArtHOI，这是一个基于优化的框架，可以集成和细化多个基础模型的先验知识。我们的主要贡献是一套新颖的方法，旨在解决这些先验固有的不准确性和物理不真实性。特别是，我们引入了自适应采样细化（ASR）方法来优化对象的度量尺度和姿势，以将其标准化网格放置在世界空间中。此外，我们提出了一种多模态 大语言模型 (MLLM) 引导的手对象对齐方法，利用接触推理信息作为手对象网格组成优化的约束。为了便于全面评估，我们还贡献了两个新数据集：ArtHOI-RGBD 和 ArtHOI-Wild。大量的实验验证了我们的 ArtHOI 在不同对象和交互中的稳健性和有效性。项目：https://arthoi-reconstruction.github.io。