论文
DeformMaster：视频中可变形物体的交互式物理神经世界模型
DeformMaster: An Interactive Physics-Neural World Model for Deformable Objects from Videos
摘要
可变形物体的世界模型不仅应该恢复几何形状和外观，还应该恢复潜在的物理动力学、交互基础和材料行为。从真实视频中学习这样的模型具有挑战性，因为可变形的线性、平面和体积物体在高维变形、噪声相互作用和复杂的材料响应下演化。因此，该模型必须从视觉观察中推断出物理状态，在新的交互作用下将其向前滚动，并以高视觉保真度渲染所得的动态。我们提出了 DeformMaster，一种视频衍生的交互式物理神经世界模型，它将真实的交互视频转变为统一动力学和外观框架内可变形对象的在线交互模型。 DeformMaster 保留了结构化的物理展开，同时使用神经残差来补偿未建模的效果，将稀疏的手部运动作为用于手部连续交互的分布式顺应执行器，用空间变化的本构专家表示材料响应，并根据预测的物理演化驱动高保真 4D 外观。对现实世界可变形对象序列的实验表明，DeformMaster 能够采样轨迹未来动态并渲染动态外观，超越最先进的基线，同时支持新颖的动作采样轨迹、材质参数变化和动态新颖视图合成。项目页面：https://can-lee.github.io/deformmaster-web/