论文
Stream3D:通过证据记忆进行顺序多视图 3D 生成
Stream3D: Sequential Multi-View 3D Generation via Evidential Memory
摘要
SAM 3D、TRELLIS 和 Hunyuan3D 等视图条件 3D 生成器可以从单个视图生成高质量的对象重建,但现实世界的视觉观察通常以长单眼流的形式出现。将这些生成器独立地应用到每个流帧会导致生成的结果出现严重的时间不一致。为了解决这个问题,我们提出了 Stream3D,这是第一个 无需训练 流机制,它将冻结视图调节的 3D 生成器转变为具有恒定跨块内存的流生成器。 Stream3D 通过维护紧凑的证据内存来实现这一目标,该内存根据建议的证据评分机制有选择地缓存信息最丰富的历史帧。随着流的进行,内存会动态更新以保留固定数量的信息帧,从而防止内存占用随序列长度线性增长。这还可以防止长序列的退化,并保持底层生成器完全不变,无需重新训练、架构修改或辅助损失。在现实和合成流基准上进行评估,Stream3D 在光度和几何指标方面均优于潜在传输基准,包括 KV 缓存重用和基于流的特征编辑。更多详细信息可以访问:https://stream-3d.github.io/stream3d.github.io/。