PhysRAG：通过检索增强生成增强视频生成中的物理意识

由于难以捕捉不同的物理现象（例如热动力学、力学和光学），开发物理感知视频生成模型仍然是一个重大挑战。在这项工作中，我们介绍了 PhysRAG，这是一种新颖的管道，可通过检索增强生成 (RAG) 增强视频生成中的物理意识。为了解决高质量数据有限的问题，我们基于 WISA-80K 数据集设计了一个两级数据过滤管道，从而生成了一组精选的 7K 高质量视频用于训练。此外，我们构建了一个物理视频数据库，并开发了一种使用可学习查询将物理知识注入视频传播模型的机制。我们的方法在视觉质量和物理规则合规性方面实现了最先进的性能，在 PhyGenBench 和 VBench 等基准测试中超越了现有模型。我们进行了广泛的消融研究，以验证关键组件的有效性，包括数据过滤管道、RAG 机制和物理信息提取方法。为了促进未来的研究，我们的代码、数据和模型已准备好在 https://github.com/sediment1024/PhysRAG 上发布。