SEGAR：生成增强现实的选择性增强

生成世界模型为增强现实 (AR) 应用提供了令人信服的基础：通过预测包含有意视觉编辑的未来图像序列，它们可以实现时间连贯、增强的未来帧，这些帧可以提前计算并缓存，从而避免从头开始实时渲染每帧。在这项工作中，我们提出了 SEGAR，这是一个初步框架，它将基于扩散的世界模型与选择性校正阶段相结合，以支持这一愿景。世界模型通过特定区域的编辑生成增强的未来框架，同时保留其他框架，校正阶段随后将安全关键区域与现实世界的观察结果保持一致，同时保留其他地方的预期增强。我们在驾驶场景中展示了这条管道作为代表性设置，其中语义区域结构被明确定义并且现实世界的反馈很容易获得。我们认为这是迈向生成世界模型作为实用 AR 基础设施的早期一步，未来的帧可以根据需要生成、缓存和有选择地纠正。