THOM：从文本生成物理上合理的手部物体网格

从文本生成逼真的 3D 手部物体交互 (HOI) 对于机器人抓取和 AR/VR 内容创建等应用非常重要。然而，在实践中，同时实现视觉保真度和物理合理性仍然很困难，因为从文本生成的高斯中提取网格本质上是不适定的，并且生成的网格对于基于物理的优化通常不可靠。我们提出了 THOM，一个 无需训练 框架，它可以直接根据文本提示生成物理上合理的 3D HOI 网格，而不需要模板对象网格。 THOM 遵循两阶段流程：它首先在文本引导下生成手和物体高斯分布，然后使用基于物理的优化来完善它们的交互。为了实现可靠的交互建模，我们引入了一种具有显式顶点到高斯映射的网格提取方法，该方法可以实现拓扑感知正则化。我们通过接触感知优化和视觉语言模型（VLM）引导的翻译细化进一步提高物理合理性。大量实验表明，THOM 可以生成具有强大文本对齐、视觉真实感和交互合理性的高质量 HOI。