Helix4D：复杂的 4D 网格生成

当前的视频转 4D 方法难以应对复杂的拓扑变化、透明材料、薄结构和内表面。我们提出了 Helix4D，一个动态网格生成框架，继承了 Trellis2 的表达表示，将其从图像到 3D 适应于视频调节的 4D 生成。我们的设计源于两个关键问题：(a) 如何使 Trellis2 的帧局部注意力能够跨帧共享信息，同时在透明物体和内表面等罕见情况下保持其预训练质量；(b) 如何将时间信息注入纯 3D 位置编码而不破坏预训练功能。我们通过滑动窗口跨帧注意力和锚定在第一帧来解决（a）问题。第一帧由基本 Trellis2 模型生成并注入到我们的模型中，使其在极少数情况下通过跨帧注意力继承 Trellis2 的质量。我们使用 4D 时间编码来解决 (b) 问题，该编码将冗余低频空间 RoPE 频带重新用于时间，从而在没有额外参数的情况下扩展 3D 编码。大量实验证明了 Helix4D 在 ActionBench 和我们自己的具有挑战性的复杂动力学集上生成高质量动态网格的有效性。