OneHOI：统一人机交互生成和编辑

人与对象交互 (HOI) 建模捕获人类如何作用于对象以及如何与对象关联，通常表示为<人、动作、对象>三元组。现有的方法分为两个不相交的系列：HOI 生成从结构化三元组和布局合成场景，但无法集成 HOI 和纯对象实体等混合条件； HOI 编辑通过文本修改交互，但很难将姿势与物理接触和比例解耦到多种交互。我们引入了 OneHOI，这是一个统一的扩散 Transformer 框架，它将 HOI 生成和编辑整合到由共享结构化交互表示驱动的单个条件去噪过程中。关系扩散 Transformer (R-DiT) 的核心是通过角色和实例感知的 HOI 词元、基于布局的空间动作基础、用于强制交互拓扑的结构化 HOI 注意力以及用于解开多 HOI 场景的 HOI RoPE 来建模动词介导的关系。 OneHOI 在我们的 HOI-Edit-44K 上与模态 dropout 以及 HOI 和以对象为中心的数据集联合训练，支持布局引导、无布局、任意掩模和混合条件控制，在 HOI 生成和编辑方面实现了最先进的结果。代码可在 https://jiuntian.github.io/OneHOI/ 获取。