StreamHOI：用于流式 HOI 视频生成的交互感知时间内存适应

现有的人机交互（HOI）视频生成方法很大程度上局限于复杂驾驶条件下的离线短视频生成，不适合实时交互应用。我们提出了 \emph{StreamHOI}，一个用于长时间 HOI 视频生成的低延迟流框架。我们没有将条件严格的 HOI 管道转换为流系统，而是研究图像到视频流生成器应如何组织历史内存以在有限延迟下保留交互。我们发现标准接收器本地内存设计面临着流式 HOI 生成的权衡，并且不同的 Transformer 块对 HOI 区域和周围区域表现出不同的历史内存偏好。为了将内存组成与块行为相匹配，StreamHOI 执行离线 HOI 感知块分析，并应用偏差引导的内存专门训练来使生成器适应特定于块的内存布局。我们进一步引入了记忆距离缩放模块，以加强对早期交互状态的远程访问。与长视频基线和最新 HOI 生成方法的广泛比较表明，StreamHOI 实现了强大的交互合理性、对象保真度、人类质量和效率，达到 17.6 FPS，第一块延迟为 0.75 秒。