论文
ArtLang:铰接式 3D 驱动的结构化语言到运动学基础
ArtLang: Structured Language-to-Kinematics Grounding for Articulated 3D Actuation
摘要
铰接对象重建恢复显式几何和运动学,但它们的部件通常在语义上保持匿名,并且必须通过部件索引和数值关节参数进行控制。我们提出了 ArtLang,一个用于持久重建铰接资产的开放词汇语言控制的框架。 ArtLang 将资产表示为语义运动学清晰度图,并通过语言特征和图约束运动增强其表面。开放词汇表提案必须与重建的部分绑定,同时允许不确定的部分保持未命名。类型化解析器将命令转换为包含引用表达式、动作、幅度、参考系和关系的指令图。然后,我们解决了一个全局图到图的基础问题,该问题共同推理语义、空间、关系和运动学兼容性,并支持空分配和歧义下的弃权。接受的指令被转换为观察到的运动范围内的连续关节目标,并通过正向运动学执行。对合成重建、基于网格的资产和真实捕获的实验证明了可靠的语言基础和跨重复零件、空间参考、关系命令和模糊指令的连续铰接控制。