社会结构在 3D 人机交互生成中很重要

尽管文本到动作生成在从语言合成真实的单人动作方面取得了巨大进展，但将其扩展到文本驱动的 3D 人机交互 (HHI) 仍然很重要，因为 HHI 需要对控制阶段进展、参与者角色和参与者间协调的底层 \textbf{社会结构} 进行建模。在本文中，我们将 HHI 生成制定为社会结构建模和基础问题：模型必须首先推断交互如何展开以及两个参与者如何协调其角色，然后将这种结构实现为连续的、物理上合理的和伙伴感知的 3D 运动。为了研究如何对这种结构进行建模，我们首先检查 HHI 生成的 大语言模型 (LLM) 的能力边界。我们的分析表明，LLM 可以通过恢复阶段分解和伙伴感知角色来 \textit{think}，但不能直接 \textit{move}，因为它们无法生成动态的、物理上合理的和交互感知的运动。这激发了我们的计划者-执行者范式，\textbf{用 LLM 思考，用运动技能移动}。 LLM 规划器通过将交互分解为阶段、分配具有伙伴意识的参与者角色并将其与运动序列对齐，将隐式交互语义转换为运动对齐的社会监督。然后，运动执行器通过使用 LoRA、前阶段自我调节和自我相关伙伴调节来调整预训练的单独运动模型，将计划的社会结构融入协调的两人运动中。我们的 Solo-to-Social 框架将社会组织和动作实现联系起来，生成具有改进的阶段一致性、角色调整和合作伙伴意识协调的 3D HHI。